«СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ В СИСТЕМЕ R Учебное пособие Элементы линейной алгебры Сведения из теории вероятностей Основы математической статистики Начала регрессионного анализа ВОРОНЕЖ 2010 519.25/.6 УДК Статистический ...»

А. Г. Буховец

П. В. Москалев

В. П. Богатова

Т. Я. Бирючинская

Под редакцией

профессора Буховца А. Г.

СТАТИСТИЧЕСКИЙ

АНАЛИЗ ДАННЫХ

В СИСТЕМЕ R

Учебное пособие

Элементы линейной алгебры

Сведения из теории вероятностей

Основы математической статистики Начала регрессионного анализа ВОРОНЕЖ 2010 519.25/.6 УДК Статистический анализ данных в системе R. Учебное пособие / А.Г.

Буховец, П.В. Москалев, В.П. Богатова, Т.Я. Бирючинская; Под ред.

проф. Буховца А.Г. – Воронеж: ВГАУ, 2010. – 124 с.

– – Учебное пособие предназначено для студентов, обучающихся по направлениям 080100– «Экономика» и 110300– «Агроинженерия», программа которых предусматривает изучение современных средств и методов проведения статистического анализа данных. В учебном пособии кратко излагается соответствующий теоретический материал и приводятся примеры решения практических задач по разделам: линейная алгебра, теория вероятностей и математическая статистика с применением системы статистической обработки данных и программирования R. В качестве приложений настоящее пособие содержит описание системы R и листинги программ, которые могут быть использованы в учебном процессе.

Рецензенты:

Профессор кафедры высшей математики Воронежского государственного архитектурно-строительного университета, д.ф.-м.н., проф.

Семенов М.Е.

Доцент кафедры информационного обеспечения и моделирования Воронежского государственного аграрного университета им. К.Д. Глинки, к.э.н., доц. Кулев С.А.

c А.Г. Буховец, П.В. Москалев, В.П.

Богатова, Т.Я. Бирючинская, 2010.

c ФГОУ ВПО «Воронежский государственный аграрный университет им.

К.Д. Глинки», 2010.

Оглавление Введение Глава 1. Элементы линейной алгебры 1.1. Векторное пространство................... 1.2. Базис векторного пространства............... 1.3. Скалярное произведение векторов............. 1.4. Матрицы............................ 1.5. Транспонирование, произведение и ранг матрицы.... 1.6. Определители и собственные значения........... Глава 2. Сведения из теории вероятностей 2.1. Случайное событие и вероятность............. 2.2. Условная вероятность и независимость событий..... 2.3. Случайные величины и законы распределения...... 2.4. Многомерные случайные величины............. 2.5. Числовые характеристики случайных величин...... 2.6. Наиболее распространённые распределения........ Глава 3. Основы математической статистики 3.1. Генеральная и выборочная совокупности......... 3.2. Выборочные характеристики и точечные оценки..... 3.3. Интервальные оценки параметров распределения.... 3.4. Проверка статистических гипотез.............. Глава 4. Начала регрессионного анализа 4.1. Основные понятия регрессионного анализа........ 4.2. Модели множественной линейной регрессии....... Литература Приложение A. Введение в систему R A.1. Принципы взаимодействия с R............... Приложение B. Листинги программ B.1. Наиболее распространённые распределения........ B.2. Основы математической статистики............ B.3. Начала регрессионного анализа............... Введение Предлагаемое вниманию читателей учебное пособие рассчитано для студентов инженерных или экономических специальностей, которые как самостоятельно, так и под руководством преподавателя занимаются изучением методов проведения статистического анализа данных с помощью современных программных средств. В главах 1– настоящего пособия в краткой форме излагаются основные сведения из линейной алгебры, теории вероятностей, математической статистики и её приложений.

Сведения, приводимые в первой главе, имеют справочный характер и сопровождаются относительно простыми примерами, иллюстрирующими базовые свойства векторов, матриц и операций над ними, а сведения во второй главе – примерами, иллюстрирующими функции распределения и числовые характеристики случайных величин с некоторыми, наиболее распространёнными законами распределения.

Основной теоретический материал излагается в третьей и четвёртой главах и иллюстрируется более развёрнутыми примерами, ориентированными на практические задачи математической статистики и регрессионного анализа. Завершается учебное пособие приложениями с описанием базовых принципов работы системы статистической обработки данных R, а также с листингами примеров на языке R, оформленными с учётом их самостоятельного применения.

Система статистической обработки данных и программирования R возникла в 1993 году как свободная альтернатива системы S-PLUS, которая в свою очередь являлась развитием языка S, разработанного в конце 1970-х годов в компании Bell Labs специально для решения задач прикладной статистики. Первая реализация S была написана на языке FORTRAN и работала под управлением операционной системы GCOS. Однако широкое распространение языка S в университетской среде началось только в первой половине 1980-х годов, после его переноса на операционную систему UNIX. В настоящее время язык S продолжает своё развитие в составе коммерческого продукта S-PLUS, разработанного в 1988 году американской компанией Statistical Sciences, Inc. и на протяжении последних полутора десятилетий прочно входящего в число наиболее развитых систем статистической обработки данных.

Во второй половине 1993 года двое молодых учёных Росс Иейка (Ross Ihaka) и Роберт Джентльмен (Robert Gentleman), специализировавшихся в области вычислительной статистики, анонсировали свою новую разработку, которую назвали R [1]. По замыслу создателей, R должен был стать свободной реализацией языка S, отличающейся от своего прародителя легко расширяемой модульной архитектурой, при сохранении быстродействия, присущего программам на FORTRAN.

В первые годы проект R развивался достаточно медленно, но по мере накопления «критической численности» сообщества пользователей и поддерживаемых ими расширений R процесс развития ускорялся и в скором времени возникла распределенная система хранения и распространения пакетов к R, известная под аббревиатурой «CRAN» [2]. Основная идея организации такой системы состояла в том, что оперативное внедрение все новых и новых функций в монолитную программу требует непрерывных и хорошо скоординированных усилий многих десятков (а быть может и сотен) специалистов из самых разных областей. В то же время, достаточно качественный прикладной пакет, реализующий всего несколько функций, квалифицированный специалист вполне способен написать в одиночку за обозримый промежуток времени, а наличие обратной связи с другими специалистами, заинтересованными в данной разработке, позволяет осуществлять как оперативное тестирование уже написанного кода, так и внедрение новых функций.

В настоящее время реализации R существуют для трёх наиболее распространённых семейств операционных систем: GNU/Linux, Apple Mac OS X и Microsoft Windows, а в распределённых хранилищах системы CRAN по состоянию на конец сентября 2010 года были доступны для свободной загрузки 2548 пакетов расширения, ориентированных на специфические задачи обработки данных, возникающие в эконометрике и финансовом анализе, генетике и молекулярной биологии, экологии и геологии, медицине и фармацевтике и многих других прикладных областях. Значительная часть европейских и американских университетов в последние годы активно переходят к использованию R в учебной и научно-исследовательской деятельности вместо дорогостоящих коммерческих разработок.

Глава Элементы линейной алгебры В данной главе приведён краткий обзор основных понятий линейной алгебры и матричного исчисления, используемых в статистических методах обработки экспериментальных данных. Приводимые примеры демонстрируют использование этих понятий для эффективного решения прикладных задач на языке статистической обработки данных и программирования R [1]. Излагаемый материал не претендует на полноту и математическую строгость изложения и никоим образом не подменяет основных учебников по освещаемым темам [3, 9].

1.1. Векторное пространство В традиционных курсах линейной алгебры векторное пространство определяется как некоторое множество объектов (векторов), на котором выполняются некоторые аксиомы. В данном разделе определим -мерный вектор как столбец, состоящий из действительных чисел, записанных в определённом порядке = 1, 2,..., и называемых координатами или компонентами вектора Два вектора называются равными =, если равны их соответствующие координаты: =, = 1, 2,...,. Для заданных в такой форме векторов определены две линейные операции:

1. Сложение векторов и 2. Умножение вектора на вещественное число Для этих операций справедливы следующие свойства векторного пространства:

4. 0 =, + =, где – нулевой вектор, то есть вектор, все компоненты которого равны нулю.

Множество всех -мерных векторов с определёнными на нём операциями сложения и умножения на вещественное число называется -мерным векторным пространством и обозначается.

Пример 1.1. В качестве примера проиллюстрируем вышеуказанные свойства векторов с помощью языка статистической обработки данных и программирования R.

> x 2*(x+y) == 2*x + 2*y; (2+3)*x == 2*x + 3*x В приведённом листинге все строки, начинающиеся с символа «>», содержат команды, вводимые пользователем в командном окне интерпретатора R (смотри номера строк: 1–3, 6, 9, 12 ), а все строки, начинающиеся с символов «[1]» – результаты, выводимые R: ( 4–5, 7–8, 10–11, 13–15 ). В общем случае, квадратные скобки в выводе R используются для обозначения индекса первого элемента вектора в текущей строке, что существенно облегчает ориентацию, если выводимый вектор занимает на экране больше одной строки.

В 1–2 строках с помощью функции объединения «c()» поэлементно определяются значения векторов,,,, присваиваемые затем одноимённым переменным с помощью оператора «, является линейно зависимой.

Некоторое подмножество линейного пространства называется его линейным подпространством, если из и следует, любом вещественном.

Очевидно, что размерность линейного подпространства не превосходит размерности линейного пространства dim dim.

Совокупность всех линейных комбинаций векторов { }, где = = 1, 2,..., называется линейной оболочкой этих векторов.

Пример 1.2. Продолжая предыдущий пример, найдём координаты вектора (1, 2, 3, 4) в базисе (1, 2, 3, 4), (4, 3, 2, 1), (1, 3, 4, 2), (1, 4, 2, 3) с помощью языка R. Напомним, что решение этой задачи сводится к решению системы линейных алгебраических уравнений, в которой столбцы векторов базиса (,,, ) формируют матрицу коэффициентов, а разлагаемый по базису вектор – столбец свободных членов:

> as.vector(d%*%a) Для проверки ортогональности вектора с векторами базиса потребуется вычислить четыре скалярных произведения: (, ), (, ), (, ), (, ). Напомним, что в предыдущем примере мы сформировали вспомогательную матрицу «d» из столбцов базисных векторов 21. Внимательные читатели наверняка обратили внимание, что компоненты матрицы «d» отображаются на экране в обычном порядке 26–31, а компоненты вектора «a» – в транспонированном 24–25. Это связано с тем, что построчный вывод «длинных» векторов позволяет более эффективно использовать площадь экрана при статистической обработке выборочных данных.

Для вычисления искомых скалярных произведений перемножим матрицу «d» на вектор «a» и представим полученный результат как вектор 32–33 : «as.vector(d%*%a)», где «%*%» означает операцию матричного умножения, определённую далее в разделе 1.5 и позволяющую получить искомые скалярные произведения одной командой.

Как показывают расчёты, ортогональной является вторая пара векторов: (, ) = 0 (4, 3, 2, 1) (1, 2, 3, 4).

1.4. Матрицы Прямоугольная таблица чисел, содержащая строк и столбцов, называется числовой матрицей. Пара чисел и называются размером матрицы. Обозначаются матрицы следующим образом:

Числа, = 1, 2,...,, = 1, 2,...,, составляющие матрицу, называются её элементами. В случае, если =, матрица называется квадратной, а – порядком матрицы.

Матрицу размера 1 называют матрицей-строкой, а матрицу размера 1 – матрицей-столбцом. Очевидно, что последняя может рассматриваться как элемент векторного пространства.

Главной диагональю квадратной матрицы порядка называется совокупность элементов:, = = 1, 2,...,. Квадратная матрица называется диагональной, если все её элементы, не лежащие на главной диагонали, равны нулю. Диагональная матрица, все диагональные элементы которой равны единице, называется единичной и обозначается.

Две матрицы и называются равными, если они имеют одинаковый размер и равные соответствующие элементы.

Основные операции над матрицами:

1. Суммой матриц и одинакового размера называется матрица того же размера, определяемая равенством 2. Произведением матрицы на число называется матрица того же размера, определяемая равенством Основные свойства операций над матрицами:

все элементы которой равны нулю.

Пример 1.4. Проиллюстрируем вышеуказанные свойства для произвольных матриц,, с помощью R.

> matrix(round(runif(9, min=-9, max=9)), nrow=3) -> A; A > matrix(round(runif(9, min=-9, max=9)), nrow=3) -> B; B > matrix(round(runif(9, min=-9, max=9)), nrow=3) -> C; C > matrix(0, nrow=3, ncol=3) -> O > all(A+B == B+A); all(7*A == A*7) > all((A+B)+C == A+(B+C)); all(3*(4*A) == (3*4)*A) > all(3*(A+B) == 3*A + 3*B); all((3+4)*A == 3*A + 4*A) Произвольные матрицы,, размером 3 3 формируются с помощью генератора псевдослучайных чисел «runif()»: 1, 6, 11.

Эта функция возвращает вектор из 9 псевдослучайных чисел, равномерно распределённых в диапазоне от «min=-9» до «max=9», которые затем округляются функцией «round()» до целых значений.

Оператор «->» означает операцию присваивания, выполняемую слева –– направо: 1, 6, 11, 16.

Нулевая матрица размером 3 3 формируется с помощью вызова функции «matrix()» 16, повторяющей значение 0 по заданному числу строк «nrow=3» и столбцов «ncol=3».

Функция «all()» используется для сокращённой записи результата проверки свойств матриц: 17, 20, 23, 26. Эта функция возвращает истинное значение в том случае, если указанное в аргументе условие истинно для всех элементов матрицы.

1.5. Транспонирование, произведение и ранг матрицы Транспонированием матрицы называется операция, в результате которой меняются местами строки и столбцы матрицы при сохранении порядка их следования. Полученная в результате этого матрица называется транспонированной и обозначается:

1.5. Транспонирование, произведение и ранг матрицы Свойства операции транспонирования:

Произведением матриц размера и размера называется матрица размера, которая обозначается =, и элементы которой определяются по формуле Если произведение матриц определено, то справедливы его следующие основные свойства:

Следует особо отметить, что в общем случае произведение матриц не коммутативно: =. Более того, существование произведения не влечёт за собой существование произведения.

Тем не менее в частных случаях коммутативность матриц возможна:

=, тогда матрицы и называются коммутирующими.

Также следует отметить, что элементы произведения двух матриц можно рассматривать как скалярные произведения векторов-строк первой матрицы на векторы-столбцы второй. С другой стороны, скалярное произведение двух векторов и также может быть записано в виде матричного произведения: (, ) = T.

Рассмотрение столбцов матрицы размера в качестве мерных векторов позволяет установить их линейную зависимость.

Максимальное число линейно-независимых векторов-столбцов матрицы называется её рангом по столбцам. Аналогичным образом можно сформулировать понятие ранга по строкам – для этого достаточно перейти к рассмотрению транспонированной матрицы T.

Можно доказать, что ранг по столбцам матрицы равен её рангу по строкам. Обозначается ранг матрицы как rank или r().

Из определения очевидно, что 0 rank min(, ). Для нулевой матрицы полагают, что rank = 0.

Пример 1.5. В продолжение предыдущего примера проиллюстрируем свойства транспонирования и произведения матриц,,, а также вычислим их ранг с помощью R.

Для транспонирования матрицы в приведённом листинге используется функция «t()» 29, действие которой можно увидеть из выводимых на экран сообщений 30–37.

> all(t(t(A)) == A); all(t(A+B) == t(A)+t(B)) > all(A%*%B != B%*%A); all(A%*%C != C%*%A) > all(A%*%(B%*%C) == A%*%B%*%C) > all((A%*%B)%*%C == A%*%B%*%C) > all((A+B)%*%C == A%*%C + B%*%C) > all(A%*%(B+C) == A%*%B + A%*%C) > all(t(A%*%B) == t(B)%*%t(A)) В строках 41, 44, 46, 49, 50, 52 используется операция матричного умножения, обозначаемая как «%*%». Также при проверке коммутативности произведения матриц и вместо логического равенства «==» в строке 41 использовано неравенство «!=», причём обе пары матриц и оказались некоммутирующими.

> qr(A)$rank; qr(B)$rank; qr(C)[[2]] 1.6. Определители и собственные значения Для определения ранга матриц,, в строке 54 вызывается функция «qr()$rank» или, что равносильно, «qr()[[2]]», определяющая ранг передаваемой в качестве аргумента матрицы. Как видно из строк 55–57, ранги матриц,, оказались равными их порядку:

rank = rank = rank = 3.

1.6. Определители и собственные значения Каждой квадратной матрице порядка по определённому правилу можно поставить в соответствие число, называемое определителем или детерминантом матрицы и обозначаемое как || или det. Для вычисления определителя матрицы могут использоваться формулы:

где, = 1, 2,..., ; – квадратная матрица порядка ( 1), которая получается из матрицы вычёркиванием -ой строки и -го столбца; det –– минор элемента. Эти формулы называются разложением определителя матрицы по -му столбцу и -ой строке соответственно.

Основные свойства определителей:

1. Величина определителя не изменится при транспонировании 2. Определитель произведения двух матриц равен произведению их определителей: det() = det det ;

3. При умножении матрицы на вещественное число её определитель умножается на -ную степень этого числа: det() = 4. Величина определителя не изменится, если к элементам одной его строки (столбца) прибавить элементы другой строки (столбца), умноженные на одно и то же вещественное число;

5. При перестановке любых двух строк (столбцов) определитель 6. Величина определителя, содержащего две пропорциональные строки (столбца), равна нулю;

7. Сумма произведений элементов любой строки (столбца) определителя на алгебраические дополнения к элементам другой его строки (столбца) равна нулю:

Матрица называется невырожденной, если её определитель отличен от нуля. Всякая невырожденная матрица имеет единственную обратную матрицу 1, удовлетворяющую равенству: 1 = = 1 =, где –– единичная матрица.

Основные свойства обратных матриц, выполняемые при условии существования всех входящих в соответствующие равенства матриц:

2. det 1 = det1.

Собственным вектором квадратной матрицы порядка называется ненулевой вектор, удовлетворяющий равенству: = =, где –– некоторое вещественное число, называемое собственным значением матрицы, соответствующим собственному вектору. Очевидно, что собственный вектор определён с точностью до коэффициента пропорциональности, и поэтому обычно нормируется условием: T = 1.

Для нахождения собственных значений матрицы исходное уравнение приводят к виду, соответствующему однородной системе линейных алгебраических уравнений Для существования ненулевого решения данной системы необходимо и достаточно, чтобы её определитель равнялся нулю Это уравнение называется характеристическим уравнением матрицы. Корнями этого уравнения будут собственные значения матрицы. При этом, если все корни характеристического уравнения будут простыми (кратность корней равна единице), то соответствующие им собственные векторы будут линейно независимыми.

1.6. Определители и собственные значения Пример 1.6. Продолжая предыдущий пример, проиллюстрируем свойства определителей и обратных матриц,,, а также найдём их собственные векторы и значения с помощью R.

> det(A) - det(t(A)) [1] 3.41061e- > round(det(A) - det(t(A)), digits=6) Важной особенностью функции «det()», вычисляющей определитель матрицы, является приближенный характер получаемых результатов, что видно из 58–59. Запись вида «3.41061e-13» означает весьма близкое, но не равное нулю число, соответствующее заданной предельно допустимой погрешности вычислений: 3.41061 · 1013.

В связи с этим, в строке 60 вместо проверки логического равенства, соответствующего первому свойству определителей, мы вычисляем разность между правой и левой частями равенства с последующим округлением до шестого знака с помощью функции «round()» с параметром «digits=6». В продолжение отметим, что наименование параметра любой функции может быть указано как в сокращённой форме: «digi=6» 62, «d=6» 64, так и вообще без имени, как в 67.

Вызов функции с именованными параметрами делает исходный код понятнее, а возможность пропускать некоторые имена – компактнее.

> round(det(A%*%B) - det(A)*det(B), digi=6) > round(det(4*A) - 4^3*det(A), d=6) > A -> A4; A[,2] - 7*A[,1] -> A4[,2] > round(det(A) - det(A4), 6) > A[,c(2,1,3)] -> A > round(det(A) + det(A5), 6) > A -> A6; 7*A[,1] -> A6[,2] > round(det(A6), 6) > A[1,1]*det(A[-1,-1]) - A[1,2]*det(A[-1,-2]) + + A[1,3]*det(A[-1,-3]) -> D7a > round(det(A) - D7a, 6) > A[1,1]*det(A[-2,-1]) - A[1,2]*det(A[-2,-2]) + + A[1,3]*det(A[-2,-3]) -> D7b > round(D7b, 6) В строках 60–82 иллюстрируются основные свойства определителей. Записи вида «A[,1]» и «A[,2]» в 66 означают обращения к первому и второму столбцам матрицы «A», а запись вида «A[,c(2,1,3)]»

в 69 –– перестановку первого и второго её столбцов.

Символ «+» в начале строк 76 и 80 появляется при переносе слишком длинного выражения с предыдущей строки. Это происходит при нажатии на клавишу Enter в том случае, если введённое выражение имеет незакрытую парную скобку («)» или «]») или стоящий в конце строки знак двуместной операции: «+», «-», «*», «/» и т. д.

Выражения вида «det(A[-1,-1])» в строках 75–76 и 79–80 означают определитель матрицы без первой строки и первого столбца, то есть минор к элементу 11. Таким образом, в строках 75–76 записано разложение определителя матрицы по первой строке, а в строках 79–80 записана сумма произведений элементов первой строки матрицы на алгебраические дополнения к элементам её второй строки.

> sum(round(A%*%solve(A) - diag(3), 6)) > sum(round(solve(A%*%B) - solve(B)%*%solve(A), 6)) > sum(round(t(solve(A)) - solve(t(A)), 6)) > round(det(solve(A)) - det(A)^-1, 6) В строках 83–90 иллюстрируются основные свойства обратных матриц. Функция «diag(3)» в строке 83 используется для получения единичной матрицы третьего порядка. Для вычисления обратной матрицы используется та же функция, что и для решения системы линейных алгебраических уравнений «solve()», но только с одним аргументом: 83, 85, 87, 89. В тех случаях, когда результат предполагал появление нулевой матрицы, использовалась её свёртка с помощью функции суммирования «sum()»: 83, 85, 87.

> eigen(A)$values; eigen(B)$values; eigen(C)$values [1] -7.53094+0.00000i 1.76547+6.89017i 1.76547-6.89017i [1] 6.72278+3.69949i 6.72278-3.69949i -2.44557+0.00000i > round(eigen(B)$vectors, 5) [1,] -0.70254 -0.24472 0. [2,] 0.71026 0.49957 0. [3,] 0.04443 -0.83099 0. 1.6. Определители и собственные значения Для вычисления собственных значений матриц,, в 91 использованы функции «eigen()$values», а для поиска собственных векторов в 95 –– функция «eigen()$vectors». Как видно из результатов расчёта 92–94, матрицы и имеют комплексно-сопряжённые собственные значения. Отсюда следует, что вещественные линейнонезависимые собственные векторы есть только у : 95–99.

Контрольные вопросы 1. Сформулируйте определение векторного пространства.

2. Дайте определения операций сложения векторов и умножения вектора на число. Перечислите основные свойства этих операций.

3. Какие векторы называются линейно независимыми и линейно зависимыми?

4. Дайте определение базиса векторного пространства. Сколько различных базисов можно указать в конечномерном векторном пространстве?

5. Дайте определение скалярного произведения векторов. Перечислите основные свойства скалярного произведения.

6. Какие векторы называются ортогональными?

7. Что называется координатами вектора в заданном базисе?

8. Дайте определение матрицы. Что такое размер матрицы? Какие матрицы называются квадратными? Что такое порядок квадратной матрицы?

9. Какие матрицы называются равными?

10. Какие операции определены для матриц. При каких условиях эти операции выполнимы? Укажите основные свойства этих операций.

11. Какие матрицы называются коммутативными?

12. Дайте определение обратной матрицы. Укажите условия, при которых матрица А имеет обратную. Приведите пример квадратной матрицы, не имеющей обратной.

Глава Сведения из теории вероятностей В данной главе приведён краткий обзор основных понятий теории вероятностей, используемых затем в математической статистике и статистических методах обработки экспериментальных данных.

Приводимые примеры демонстрируют использование этих понятий для решения прикладных задач на языке статистической обработки данных и программирования R [1]. Излагаемый материал не претендует на полноту и математическую строгость изложения и никоим образом не подменяет основных учебников по освещаемым темам [4–6].

2.1. Случайное событие и вероятность В теории вероятностей понятие события является первичным и не определяется через другие более простые понятия. Для описания событий как результатов испытаний (также называемых опытами или наблюдениями) с неопределённым исходом используется понятие случайности. Под испытанием (или экспериментом) понимают любое наблюдение какого-либо явления, выполненное в заданном комплексе условий с фиксацией результата, которое может быть повторено (хотя бы в принципе) достаточное число раз.

Испытание, исход которого не может быть определён однозначно до проведения эксперимента, принято называть случайным.

Наряду с самим событием в рассмотрение вводится противоположное к нему событие, которое заключается в том, что событие не происходит.

Событие, которое при случайном испытании происходит всегда, называется достоверным и обозначается как.

Событие, которое никогда не происходит, то есть является противоположным к достоверному, называется невозможным и обозначается как.

События и называются несовместными, если появление одного из них исключает появление другого. Иначе говоря, такие собыСлучайное событие и вероятность тия никогда не происходят одновременно.

Пусть на рассматриваемом множестве событий определены следующие операции:

1. Сумма событий + – событие, состоящее в том, что произойдёт хотя бы одно из событий: и/или ;

2. Произведение событий – событие, состоящее в том, что произойдут оба события: и, и.

Событие эксперимента (испытания) считается элементарным, если его нельзя представить через другие события с помощью операций сложения и умножения.

Совокупность всех таких событий {1, 2,..., } образует пространство элементарных исходов :

Предполагается, что каждому возможному исходу в данном испытании, может быть сопоставлена неотрицательная числовая функция, такая что P { } =. Значения этой функции, выражающие меру возможности осуществления элементарного события, называется его вероятностью. При этом имеют место следующие свойства вероятности: P { } (0, 1), P {} = 0, P {} = 1.

В рамках такого подхода любое событие, связанное с этим экспериментом, определяется как сумма элементарных исходов, а его вероятность –– как сумма вероятностей соответствующих элементарных исходов Для таких случайных событий справедливы два утверждения, называемых теоремами сложения вероятностей:

2. Если же события и – совместны:

24 2. Сведения из теории вероятностей 2.2. Условная вероятность и независимость Если некоторое событие рассматривается не на всём пространстве элементарных исходов, а лишь на некоторой его части, где кроме осуществляется и другое событие, то имеет смысл использовать определение условной вероятности события, откуда следует теорема умножения вероятностей:

Событие полагают не зависимым от, если P {|} = P {}.

Иначе говоря, события и считаются независимыми, если появление одного из них не изменяет вероятности другого события. Для независимых событий теорема умножения вероятностей принимает более простой вид Это равенство часто рассматривают как определение независимости событий и.

Понятия независимости случайных событий и условной вероятности являются очень важными для математической статистики. Достаточно отметить, что многие свойства статистических оценок получаются именно в предположении независимости входящих в них случайных величин. А понятие условной вероятности используется при определении регрессионной модели.

2.3. Случайные величины и законы распределения Случайная величина представляет собой однозначную действительную функцию, заданную на пространстве элементарных событий. Каждая случайная величина задаёт распределение вероятностей на множестве своих возможных значений.

Законом распределения случайной величины называется всякое соотношение, устанавливающее связь между возможными значениями этой случайной величины и соответствующими им вероятностями. Случайная величина считается заданной, если известен её закон распределения.

2.3. Случайные величины и законы распределения Наиболее общей формой закона распределения является функция распределения вероятностей случайной величины, определяемая равенством Основные свойства функции распределения 1. Значения функции распределения ограничены интервалом:

2. Функция распределения – неубывающая функция:

3. Предельные значения аргумента соответствуют предельным значениям функции распределения: () = 0, () = 1;

4. Вероятность события [, ) равна приращению функции распределения на соответствующем интервале:

В зависимости от структуры множества возможных значений в практических задачах обычно различают два вида случайных величин: дискретные и непрерывные.

Дискретной называется случайная величина, множество возможных значений которой конечное или счётное. В качестве закона распределения дискретной случайной величины часто используют ряд распределения, записываемый в виде таблицы 2 :

Функция распределения дискретной случайной величины будет иметь разрывы первого рода (скачки), в точках, соответствующих значениям случайной величины (абсциссы скачков). Причем величины этих скачков будут равны вероятностям соответствующих значений (ординаты скачков).

Непрерывной называется случайная величина, имеющая непрерывную и дифференцируемую функцию распределения ().

В качестве закона распределения непрерывной случайной величины обычно используется функция плотности распределения вероятностей:

Основные свойства плотности распределения вероятностей ():

1. Плотность распределения вероятностей – функция неотрицательная: () 0;

2. Плотность распределения удовлетворяет условию нормировки:

3. Вероятность события [, ] равна интегралу на соответствующем отрезке от плотности распределения:

4. Функция распределения равна несобственному интегралу от плотности распределения с переменным верхним пределом:

2.4. Многомерные случайные величины Понятие случайной величины может быть обобщено на случай: системы случайных величин: = (1, 2,..., )T, где рассматривается как -мерный случайный вектор, а (1, 2,..., ) – как система случайных величин, определённых на едином пространстве элементарных событий.

Функция распределения -мерной случайной величины задатся равенством Случайный вектор называется непрерывным, если его функция распределения (1, 2,..., ) имеет смешанную частную производную -го порядка, которая называется плотностью распределения случайного вектора или совместной плотностью распределения системы случайных величин (1, 2,..., ):

Заметим, что свойства плотности вероятности -мерной случайной величины аналогичны свойствам плотности вероятности одномерной случайной величины.

Если рассмотрению подлежит только часть компонент вектора = (1, 2,..., )T, где <, то используется частная (маргинальная) функция распределения:

а также частная (маргинальная) плотность распределения:

где интегрирование производится по всему множеству возможных значений переменных +1,...,.

Плотность распределения многомерной случайной величины, определённая при условии, что значения компонент +1,..., зафиксированы на соответствующих уровнях *,..., *, называется плотностью условного распределения случайной величины :

Случайные величины 1, 2,..., называются (стохастически) независимыми, если функция их совместного распределения (1, 2,..., ) представима в виде произведения функций распределения случайных величин:

или, в случае непрерывных случайных величин, аналогичным образом может быть записана их совместная плотность распределения:

2.5. Числовые характеристики случайных Описание случайной величины с помощью функции распределения () является исчерпывающим, но для практических задач иногда оказывается излишне подробным. Бывает, что достаточно охарактеризовать конкретное свойство случайной величины с помощью некоторого числа, то есть перейти к её числовым характеристикам.

Для характеристики центра распределения значений случайной величины используется математическое ожидание. Математическим ожиданием (ожидаемым средним значением) дискретной случайной величины называется величина Математическое ожидание непрерывной случайной величины, заданной плотностью распределения, вычисляется как Основные свойства математического ожидания:

1. Если Если, – некоррелированы, то M( ) = M() M( ).

Для характеристики рассеяния значений случайной величины относительно центра распределения служит дисперсия, определяемая как математическое ожидание квадрата отклонения случайной величины от своего математического ожидания Можно показать, что верна универсальная формула дисперсии Для нахождения дисперсии дискретной случайной величины используют формулу 2.5. Числовые характеристики случайных величин Дисперсия непрерывной случайной величины, заданной плотностью распределения, вычисляется по формуле Основные свойства дисперсии:

1. Если Если, – некоррелированы, то D( + ) = D() + D( ).

Среднее квадратическое (стандартное) отклонение определяется как квадратный корень из дисперсии = D().

Случайную величину называют центрированной, если её математическое ожидание равно нулю M( ) = 0. Для центрирования произвольной случайной величины служит формула = M().

Случайную величину называют нормированной, если её дисперсия равна единице D( ) = 1. Для нормирования произвольной случайной величины служит формула =.

Случайную величину называют стандартной, если её математическое ожидание равно нулю M() = 0, а дисперсия равна единице D() = 1. Для стандартизации произвольной случайной величины служит формула = M().

Медианой 1 называется такое значение случайной величины, которое делит область её возможных значений на две равновероятные части. Формально, медиана определяется как решение уравнения Обобщая данное уравнение, приходим к понятию квантиля уровня : ( ) =. Квантили, делящие область возможных значений случайной величины на четыре равновероятные части, называются первым 1, вторым 2 и третьим 3 квартилями. Легко увидеть, что второй квартиль совпадает с медианой 2 = 1.

С геометрической точки зрения квантиль непрерывной случайной величины есть такая точка на оси абсцисс, что площадь криволинейной трапеции, ограниченная графиком плотности распределения () и лежащая левее вертикальной прямой =, будет равна. С другой стороны, квантиль по определению является корнем уравнения ( ) =, откуда следует, что квантиль – это абсцисса = точки пересечения прямой = с графиком функции распределения Для распределений, чья плотность является четной функцией (к примеру, центрированных равномерного и нормального распределений, распределения Стьюдента и тому подобных), квантили уровней (1 ) и будут расположены симметрично относительно начала координат, то есть 1 =.

Мерой взаимосвязи двух случайных величин и может служить коэффициент ковариации, определяемый по формуле Основным свойством коэффициента ковариации является его равенство нулю для независимых случайных величин и.

Заметим, что обратное утверждение, вообще говоря, неверно.

Зависимость величины от масштаба изучаемых величин и делает неудобным её использование в практических приложениях. Поэтому для измерения связи между и обычно используют другую числовую характеристику, называемую коэффициентом корреляции Наиболее существенными являются следующие свойства коэффициента корреляции:

2. Модуль коэффициента корреляции не превосходит единицы:

3. Модуль коэффициента корреляции равен единице | | = только в том случае, когда случайные величины и связаны линейной зависимостью;

4. Если случайные величины и независимы, то = 0, а если = 0, то говорят о некоррелированности случайных 5. Величина коэффициента корреляции инвариантна относительно линейных преобразований.

2.6. Наиболее распространённые распределения В случае многомерных случайных величин в рассмотрение вводятся многомерные аналоги числовых характеристик.

Для случайного вектора = (1, 2,..., )T характеристикой центра группирования будет вектор средних значений В качестве меры рассеяния компонент и их взаимосвязи используется матрица ковариаций:

где = cov(, ) при, = 1, 2,...,. Определитель этой матриdet называется обобщённой дисперсией.

По причинам, указанным выше, в практических приложениях чаще используется так называемая корреляционная матрица:

2.6. Наиболее распространённые распределения 2.6.1. Биномиальное распределение Дискретная случайная величина имеет биномиальное распределение с параметрами Z+, : (, ), если она принимает целочисленные значения = 0, 1,..., с вероятностями, определяемыми формулой Бернулли Биномиальное распределение возникает в последовательности из независимых испытаний с постоянной вероятностью успеха в каждом испытании = const и полностью определяется значениями параметров и :

Функция распределения случайной величины, подчиняющейся биномиальному закону (, ), имеет вид:

Математическое ожидание и дисперсия случайной величины, подчиняющейся биномиальному закону (, ), вычисляются по формулам:

0. 0. 0. 0. 0. ление вероятностей На рис. 2.1 и 2.2 показаны примеры построения графиков распределения вероятностей и функции распределения () биномиально распределённой случайной величины (, ) при = 12 и, принимающей последовательные значения от 10 до 10 через 10, то есть { 10 10 Пример 2.1. В качестве примера построим вышеприведённые графики вероятностей и функции распределения () биномиально распределённой случайной величины (, ) с помощью R.

2.6. Наиболее распространённые распределения > source("probGraph.r") Команда «source("probGraph.r")» в строке 1 производит загрузку исходного кода библиотеки, содержащей функции для построения графиков по теории вероятностей.

Функция «seq()» в строках 2–3 генерирует вектор последовательных значений от первого до второго аргумента; третий аргумент функции позволяет указать приращение в последовательности значений, равное по-умолчанию ±1.

Функция «sapply(p,...)» производит подстановку каждой компоненты вектора «p» в указанную далее функцию. Таким образом, в строках 4, 5 с помощью функций «dbinom()» и «pbinom()» по вектору абсцисс «x» вычисляются ординаты вероятности «P» и функции биномиального распределения «F» для каждой пары параметров «n,p», а в строке 6 значения этих параметров формируют поясняющие надписи на графиках.

Функции «dgraph()» и «pgraph()» определены в пользовательской библиотеке «probGraph.r» и производят построение графиков вероятностей и функций распределения дискретной случайной величины по переданным векторам абсцисс «x» и ординат «P» или «F».

Полный текст исходного кода библиотеки «probGraph.r» приведён в Приложении B.1.

2.6.2. Распределение Пуассона Дискретная случайная величина имеет распределение Пуассона с параметром > 0: (), если она принимает целочисленные значения = 0, 1,..., с вероятностями, определяемыми формулой Пуассона где Распределение Пуассона является предельным случаем биномиального распределения при, а 0 так, что = = const.

Оно возникает при рассмотрении единичных независимых случайных событий с постоянной интенсивностью и полностью определяется Функция распределения случайной величины, подчиняющейся закону Пуассона (), имеет вид:

2.6.3. Геометрическое распределение Дискретная случайная величина имеет геометрическое распределение с параметром : (), если она принимает целочисленные значения = 0, 1,..., с вероятностями, определяемыми формулой где Геометрическое распределение имеет случайная величина, равная числу испытаний в последовательности Бернулли, проходящих до появления первого успеха. Геометрическое распределение полностью определяется значениями параметра :

Функция распределения случайной величины геометрическому закону (), имеет вид 2.6.4. Равномерное распределение Простейшим из непрерывных распределений является равномерное распределение, возникающее при обобщении понятия равновероятных случайных событий на случай. Непрерывная случайная величина имеет равномерное распределение на отрезке [, ]:

(, ), если её плотность вероятности постоянна и отлична от нуля только на этом отрезке:

2.6. Наиболее распространённые распределения Равномерное распределение полностью определяется координатами концов отрезка [, ]. Функция распределения случайной величины, подчиняющейся равномерному закону (, ), имеет вид:

Математическое ожидание и дисперсия равномерно распределённой случайной величины (, ) вычисляются по формулам:

Рис. 2.7. Плотность равномерного Рис. 2.8. Функция равномерного распределения () На рис. 2.7 и 2.8 показаны примеры построения графиков плотности вероятности () и функции распределения () равномерно распределённой случайной величины (, ) при значениях параметров: = 0, { 1, 1, 1, 2}.

Пример 2.4. Продолжая предыдущий пример, построим вышеприведённые графики плотности вероятностей () и функции распределения () для равномерно распределённой случайной величины (, ) с помощью R.

2.6.5. Показательное распределение Показательное распределение возникает при моделировании времени между последовательными реализациями одного и того же случайного события. Непрерывная случайная величина имеет показательное распределение: (), если её плотность вероятности где > 0 –– параметр, интерпретируемый как среднее число случайных событий в единицу времени.

Функция распределения показательно распределённой случайной величины: () имеет вид:

Математическое ожидание и дисперсия показательно распределённой случайной величины () вычисляются по формулам:

На рис. 2.9 и 2.10 показаны примеры построения графиков плотности вероятности () и функции распределения () показательно распределённой случайной величины () при значениях параметра: { 1, 2, 1, 2}.

Пример 2.5. Продолжая предыдущий пример, построим вышеприведённые графики плотности вероятностей () и функции распределения () для показательно распределённой случайной величины () с помощью R.

2.6. Наиболее распространённые распределения 2. 1. 1. 0. 0. Рис. 2.9. Плотность показательно- Рис. 2.10. Функция показательного распределения () го распределения () 2.6.6. Нормальное распределение Нормальное распределение обычно возникает при рассмотрении суммы большого количества независимо распределённых случайных величин с конечной дисперсией. Непрерывная случайная величина имеет нормальное распределение: (, ), если её плотность вероятности имеет вид:

, R; > 0; ()–– функция Гаусса, определяемая равенством где Нормальное распределение полностью определяется параметрами и. Функция распределения случайной величины, подчиняющейся нормальному закону (, ), имеет вид:

() –– функция Лапласа, определяемая равенством где Математическое ожидание и дисперсия нормально распределённой случайной величины (, ) вычисляются по формулам:

Свойства нормального распределения:

2.6.7. Логнормальное распределение Непрерывная случайная величина имеет логарифмически нормальное или логнормальное распределение, если её логарифм нормально распределён. Подобно нормальному распределению логнормальное возникает при рассмотрении произведения большого числа независимых случайных величин с конечной дисперсией. Плотность вероятности логарифмически нормального распределения имеет вид:

где Логарифмически нормальное распределение полностью определяется параметрами и. Функция распределения логарифмически нормальной случайной величины ln (, ) имеет вид:

() –– функция Лапласа.

где Математическое ожидание и дисперсия логарифмически нормальной случайной величины ln (, ) зависимы:

1. 1. 0. 0. На рис. 2.13 и 2.14 показаны примеры построения графиков плотности вероятности () и функции распределения () логарифмически нормально распределённой случайной величины ln (, ) при значениях параметров: = 0, { 1, 1, 1, 2}.

Пример 2.7. Продолжая предыдущий пример, построим вышеприведённые графики плотности вероятностей () и функции распределения () для логарифмически нормально распределённой случайной величины ln (, ) с помощью R.

2.6.8. Пирсона 2 -распределение Если (0, 1), где = 1, 2,..., – независимые стандартные нормальные случайные величины, то сумма квадратов этих величин имеет 2 -распределение (Пирсона) с степенями свободы:

Плотность распределения 2 выражается формулой:

где () –– гамма-функция Эйлера. При возрастании числа степеней свободы распределение 2 асимптотически нормально.

Математическое ожидание и дисперсия распределения 2 имеют вид:

На рис. 2.15 и 2.16 показаны примеры построения графиков плотности вероятности () и функции распределения () случайной величины 2 при числе степеней свободы: {2, 3, 4, 5}.

Пример 2.8. Продолжая предыдущий пример, построим вышеприведённые графики плотности вероятностей () и функции распределения () для случайной величины 2 с помощью R.

0. 0. 0. 0. 0. 0. ления () 2.6.9. Стьюдента -распределение случайная величина свободы.

Плотность -распределения имеет вид:

где R; () – гамма-функция Эйлера. При возрастании числа степеней свободы распределение Стьюдента асимптотически нормально.

Математическое ожидание и дисперсия -распределения выражаются формулами:

2.6. Наиболее распространённые распределения 0. 0. 0. 0. 0. ления () На рис. 2.17 и 2.18 показаны примеры построения графиков плотности вероятности () и функции распределения () случайной величины при числе степеней свободы: {2, 3, 4, 300}.

Пример 2.9. Продолжая предыдущий пример, построим вышеприведённые графики плотности вероятностей () и функции распределения () случайной величины с помощью R.

2.6.10. Фишера -распределение случайная величина имеет распределение Фишера или -распределение со степенями свободы числителя и знаменателя 1. Плотность -распределения:

где, > 0; (, ) – бета-функция Эйлера. При возрастании числа степеней свободы распределение Фишера асимптотически нормально.

Математическое ожидание и дисперсия -распределения выражается формулами:

1. 1. 0. 0. ления () На рис. 2.19 и 2.20 показаны примеры построения графиков плотности вероятности () и функции распределения () случайной величины при значении чисел степеней свободы: {2, 3, 4, 40}, {4, 5, 6, 60}.

1 Используемое в настоящем пособии обозначение для распределения Фишера со степенями свободы числителя и знаменателя не является общепринятым, но по мнению авторов оно порождает меньше двусмысленностей, по сравнению с обычно применяемым,.

2.6. Наиболее распространённые распределения Пример 2.10. Продолжая предыдущий пример, построим вышеприведённые графики плотности вероятностей () и функции распределения () случайной величины с помощью R.

> k1 0 выполняется условие Выполнение этого условия означает, что с увеличением объёма выборки возрастает наша уверенность в малом по абсолютной величине отклонении оценки от истинного значения параметра.

Оценка называется эффективной, если она обладает наименьшей дисперсией, а значит и средним квадратическим отклонением от истинного значения параметра, по сравнению с любыми другими оценками данного класса.

Так, несмещённой и состоятельной оценкой вероятности появления значения является его относительная частота, а несмещёнными и состоятельными оценками для математического ожидания M() и дисперсии D() являются выборочное среднее и исправленная выборочная дисперсия 2 : 3.2. Выборочные характеристики и точечные оценки где = P { = }, – вероятность и частота появления значения дискретной случайной величины.

Несмещённой и состоятельной оценкой коэффициента ковариации случайных величин и является выборочная ковариация, определяемая по формуле где и –– выборочные средние случайных величин и, соответственно.

Несмещённой и состоятельной оценкой коэффициента корреляции случайных величин и является выборочный коэффициент корреляции, определяемый по формуле Оценками функций распределения () и плотности вероятности () непрерывной случайной величины будут построенные по её выборке эмпирическая функция распределения () и гистограмма, ():

где точки вокруг обозначения вероятности ·P· указывают на поточечную сходимость по вероятности гистограммы, () к функции плотности вероятности при выполнении условий, 0;

= const –– длина интервала группировки; = [ ] Z –– номер интервала группировки; []–– целая часть числа ; 1 ( )–– индикаторная функция заданного подмножества, позволяющая подсчитать количество элементов выборки, принадлежащих :

52 3. Основы математической статистики В качестве подмножеств при построении эмпирической функции распределения () выбираются полубесконечные интервалы с переменной границей (, ), R, а при построении гистограммы, ()–– разбиение области определения на интервалы равной длины [, ( + 1)), Z.

Замечание 3.1. Для выбора длины интервала группировки существует множество эмпирических формул, но для обеспечения поточечной сходимости, () к () должно выполняться условие, чтобы при больших объёмах выборок и малых длинах интервалов их произведение оставалось бы достаточно большим, например, = и тому подобное.

Замечание 3.2. С учётом заведомо дискретного характера реализаций случайной выборки { } статистические оценки функций распределения () и плотности вероятности, () представляют собой кусочно-постоянные функции, примеры которых будут приведены ниже.

Выборочная медиана 1, эмпирического распределения определяется с помощью вариационного ряда {() } по формуле:

Обобщая предыдущую формулу, найдём выборочный квантиль порядка : { где [] –– целая часть числа. При анализе распределений с большими выбросами для характеристики центра распределения вместо выборочного среднего часто используется выборочная медиана 1,. Аналогично, для характеристики разброса значений вместо исправленной выборочной дисперсии 2 в таких случаях используется выборочный интерквартильный размах, то есть разность между третьей и первой выборочными квартилями: 3, 1,.

3.2. Выборочные характеристики и точечные оценки Пример 3.1. В качестве примера вычислим основные выборочные характеристики и построим графики эмпирической функции распределения () и гистограммы, () для выборки 100 значений случайной величины с помощью R.

> source("samples.r") > n legend("topleft", lty=1, legend=paste("f(x):",ltext)) > plot(ecdf(x), pch=".", xlim=range(x2), > rug(x); lines(x2, F1) > legend("topleft", lty=1, legend=paste("F(x):",ltext)) В строках 29–42 выполняются построения гистограммы, () и эмпирической функции распределения () для выборки 100 значений случайной величины, см. рис. 3.1 и 3.2. В дополнение к эмпирическим оценкам, () и () на тех же рисунках для сравнения 3.2. Выборочные характеристики и точечные оценки приводятся графики теоретических функций плотности вероятности () и функции распределения (), построенных по несмещённым оценкам параметров: 8.34, 1.89.

В строке 29 с помощью оценок параметров и формируется вектор абсцисс «x2». Наименьшее и наибольшее значения вектора «x2»

отображаются с помощью функции «range()». В строке 31 с помощью функций «dnorm()» и «pnorm()» формируются соответствующие абсциссам «x2» векторы ординат теоретических функций плотности вероятности «f1» и функции распределения «F1» случайной величины (8.34, 1.89).

В строке 32 с помощью функции «sprintf()» и оценок параметров «a1» и «s1» формируется строка «ltext», содержащая описание предполагаемого закона распределения случайной величины, 33.

В строках 34–35 с помощью функции «hist()» выполняется построение гистограммы для вектора выборочных значений «x». Параметр «breaks="Scott"» позволяет указать алгоритм вычисления числа интервалов группировки; в данном случае видно, что для построения гистограммы было использовано 11 интервалов. Для уточнения пределов изменения по осям абсцисс и ординат используются параметры «xlim=range(x2)»– размах по оси абсцисс составляет ±4, и «ylim=с(0,1.2*max(f1))» – верхнее значение по оси ординат на 20% превышает максимум плотности вероятности, равный 2. Логический параметр «freq=FALSE» указывает, что при построении гистограммы по оси ординат откладывается не абсолютная частота, а плотность относительной частоты, где = const, что обеспечивает нормировку гистограммы по площади:

= 1, 2,..., 11. Параметры «main», «xlab», «ylab» позволяют установить подписи как для графика в целом, так и индивидуально для осей абсцисс и ординат.

Функция «windows()» в строке 38 открывает новое графическое окно, а функция «plot(ecdf(x)...)» в строке 39 строит в этом окне график эмпирической функции распределения (), соответствующей выборочным данным «x». Параметр «pch="."» указывает на символ, которым отмечается начало каждого постоянного участка после скачка функции (). Все остальные параметры имеют тот же смысл, что и для функции «hist()».

Функция «rug(x)» в строках 36, 41 отображает над осью абсцисс метки, соответствующие координатам выборочных значений, а функция «lines()» строит кривые, соответствующие теоретическим функциям плотности вероятности () и распределения ().

Функции «legend("topleft"...)» в строках 37, 42 отображают 56 3. Основы математической статистики в левом верхнем углу графика пояснительную надпись, часть которой была получена ранее в строке 32 : «legend=paste(...ltext)». Параметр «lty=1» указывает, что теоретические функции () и (), соответствующие распределению случайной величины (8.34, 1.89), отображаются на графиках сплошной линией.

3.3. Интервальные оценки параметров распределения При оценивании неизвестных параметров распределения наряду с рассмотренными выше точечными оценками получили распространение интервальные оценки. В отличие от точечной интервальная оценка позволяет получить вероятностную характеристику точности оценивания неизвестного параметра.

Пусть имеется случайная выборка объёма из непрерывного распределения случайной величины с неизвестным параметром, для оценки которого строится интервал: (, ), где – функции случайной выборки, такие, что верно равенство Тогда интервал I () = (, ) называют доверительным интервалом, накрывающим неизвестный параметр с заданной доверительной вероятностью или -доверительным интервалом.

Заметим, что при построении доверительных интервалов для дискретных случайных величин вместо равенства удаётся обеспечить Доверительная вероятность, как правило, считается заданной, близкой к единице и при отсутствии других соображений выбирается среди значений: 0.9, 0.95, 0.975, 0.99, 0.995,...

Один из типичных методов построения доверительного интервала основан на использовании статистики (), функция распределения которой () не зависит от оцениваемого параметра. При этом используются следующие предположения:

1. Функция распределения статистики () является непрерывной и возрастающей;

2. Для любой реализации выборки статистика () является непрерывной и монотонной функцией параметра ;

3.3. Интервальные оценки параметров распределения 3. Задана доверительная вероятность Согласно первому предположению для любого числа [0, 1] существует единственный квантиль уровня функции распределения (). Отсюда с учётом третьего предположения получим равенства:

справедливые для любых допустимых значений параметра, так как функция распределения статистики () от не зависит. Согласно второму предположению для любой реализации выборочной совокупности уравнения () = 1± имеют единственные решения =, определяющие искомый доверительный интервал I () = ( Доверительный интервал для M() при (, ) При построении доверительного интервала для математического ожидания нормально распределённой случайной величины (, ) по случайной выборке объёмом используется статистика вида Действительно, если (, ), то = (0, 1). В то же время = 2 1 2, причём случайные величины и независимы и статистика () может быть представлена в виде Отсюда следует, что статистика () имеет распределение Стьюдента с 1 числом степеней свободы. Для убывающей по параметру функции () определяющие доверительный интервал уравнения () = 1± принимают вид Решая эти уравнения, находим нижнюю и верхнюю границы -доверительного интервала для математического ожидания M() = нормально распределённой случайной величины (, ):

где 1±,1 –– квантили уровней 1± распределения Стьюдента с числом степеней свободы 1.

Доверительный интервал для D() при (, ) При построении доверительного интервала для дисперсии нормально распределённой случайной величины (, ) по случайной выборке объёмом используется статистика, имеющая распределение 2 с числом степеней свободы Для убывающей по параметру функции () нижняя и верхняя границы -доверительного интервала определяются уравнениями Решая эти уравнения, находим -доверительный интервал для дисперсии D() = 2 нормально распределённой случайной величины где 2,1 –– квантили уровней 1± распределения Пирсона с числом степеней свободы 1.

Пример 3.2. Построим реализации доверительных интервалов для математического ожидания M() и дисперсии D() стандартной нормально распределённой случайной величины (0, 1) при различных значениях доверительной вероятности [0.95, 0.999] и объёма выборок [100, 1000] с помощью R.

> set.seed(20100625) > ci_graph(ciMg, g, 0, txtMg) > ci_graph(ciDn, n, 1, txtDn) > ci_graph(ciDg, g, 1, txtDg) В строке 1 устанавливается состояние генератора псевдослучайных чисел, а в строках 2–3 формируются векторы значений объёма выборки «n» и доверительной вероятности «g».

В строках 4–5 определяются функции «ciM» и «ciD», которые с заданной вероятностью «g» вычисляют границы доверительных интервалов для M() и D() по выборке «x» заданного объёма «n».

Далее, в 6–7 с помощью функции «sapply()» для каждого значения объёма выборки из интервала [100, 1000] с фиксированной вероятностью 1 = 0.95 строятся реализации доверительных интервалов для M() и D() случайной величины (0, 1), показанные на рис. 3.3 и 3.4 в верхнем ряду.

Аналогично, в 8–9 с помощью функции «sapply()» для каждого значения доверительной вероятности из интервала [0.95, 0.995] при фиксированном объёме выборки 1 = 100 строятся реализации доверительных интервалов для M() и D() случайной величины (0, 1), показанные на рис. 3.3 и 3.4 в нижнем ряду.

В строках 10–13 формируются поясняющие надписи для каждого графика, а затем в 14–20 описывается функция «ci_graph», выполняющая построение самих графиков.

Функция «windows()» в строке 14 открывает новое графическое окно, в котором функция «plot()» рисует оси координат, используя размахи абсцисс «range(x)» и ординат «range(y)». Никаких построений кроме осей координат функция «plot()» не выполняет:

«type="n"», 15.

0. 0. 0. 0. 0. Фактическими построениями занимается цикл «for()» функций «lines()» и «points()» в строках 16–18, который для каждой тройки абсцисс «x[,j]» и ординат «rep(y[j],3)» рисует пару горизонтальных линий двойной толщины с точкой между ними. Абсцисса точки соответствует -ой точечной оценке, а отрезки горизонтальных линий –– -му доверительному интервалу для M() или D().

Функция «legend("topright...)» в строке 19 рисует в правом верхнем углу графика заданный текст «legend=text» на белом фоне «bg="white"», а функция «abline()» в строке 20 – штриховую линию двойной толщины «lty=2,lwd=2», пересекающую ось абсцисс по нормали в точке «v=point», соответствующей истинным значениям оцениваемых величин: M() = 0, D() = 1.

В строках 21–24 описанная функция используется для непосредственного построения реализаций доверительных интервалов M() и D() при различных значениях [100, 1000] и [0.95, 0.999] для (0, 1).

Из графиков, показанных на рис. 3.3 и 3.4, хорошо видно, что доверительные интервалы и для M() и для D() представляют собой коллинеарные оси абсцисс случайные векторы, длина которых уменьшается по мере увеличения объёма выборки и уменьшения доверительной вероятности.

3.4. Проверка статистических гипотез Статистической гипотезой принято считать любое предположение о законе распределения случайной величины генеральной совокупности или о значениях параметров закона распределения.

Высказанное предположение, которое подлежит проверке, обозначается 0 и называется основной или нулевой гипотезой. Наряду с основной гипотезой в рассмотрение вводится и противоречащая ей гипотеза 1, которая называется конкурирующей или альтернативной. Цель проверки статистической гипотезы заключается в том, чтобы установить, не противоречит ли высказанная гипотеза 0 имеющимся выборочным данным {1, 2,..., }.

Для проверки нулевой гипотезы формируется статистический критерий –– специальная статистика (1, 2,..., ), распределение которой в условиях нулевой гипотезы 0 известно. По известному распределению статистического критерия определяется множество значений, которые величина принимает с вероятностью, близкой к единице, то есть практически достоверно. Это множество называется областью принятия нулевой гипотезы 0. Дополнение этого множества образует критическую область (или область отвержения гипотезы 0 ).

Проверка нулевой гипотезы осуществляется следующим образом.

По выборочным данным вычисляется наблюдаемое значение критерия = (1, 2,..., ). Если значение принадлежит критической области, то проверяемая гипотеза 0 отвергается, как противоречащая выборочным данным, и принимается альтернативная 62 3. Основы математической статистики гипотеза 1. Если же принадлежит области принятия нулевой гипотезы, то она принимается, как согласующаяся с выборочными данными. В этом случае говорят, что нулевая гипотеза принимается на уровне значимости = 1.

Принципиально важно понимание того, что статистическими методами можно лишь опровергнуть выдвинутую гипотезу 0, но нельзя её доказать.

Уровень значимости гипотезы характеризует вероятность совершить ошибку первого рода, заключающуюся в напрасном отвержении верной нулевой гипотезы: P {1 |0 } =. Помимо этого, существует вероятность совершить ошибку второго рода, состоящую в напрасном принятии неверной нулевой гипотезы P {0 |1 } =.

Дополнительную к величину, соответствующую вероятности недопущения ошибки второго рода P {1 |1 } = 1, называют мощностью критерия. Заметим, что одновременное уменьшение вероятностей ошибок первого и второго рода возможно только при увеличении объёма выборки.

Во многих системах компьютерной математики, в том числе и в R, для наблюдаемого значения критерия определяется достигаемый уровень значимости, называемый также «-значением» или «-value», соответствующий наименьшему уровню значимости, при котором нулевая гипотеза 0 отвергается для данного наблюдаемого значения критерия. Чем меньше значение величины, тем увереннее отвергается нулевая гипотеза 0.

Важное значение в математической статистике имеет принцип двойственности при построении доверительных интервалов и проверке гипотез о значениях параметров распределения. Нетрудно убедиться в том, что при выбранном уровне надёжности доверительный интервал для некоторого параметра составляют те его значения, которые совместимы с гипотезой 0 : = на уровне значимости = 1.

3.4.1. Пирсона 2 -критерий согласия Пусть необходимо проверить нулевую гипотезу 0 о том, что случайная величина подчиняется определённому закону распределения 0 (), то есть 0 : () = 0 (). Если не оговорено иное, то под альтернативной гипотезой 1 будем понимать дополнение к нулевой, то есть 1 : () = 0 (). Для того чтобы определить, согласуются ли результаты наблюдений с нулевой гипотезой 0, принято использовать критерии согласия.

Критерием согласия называется статистический критерий проверки гипотезы о соответствии эмпирического распределения вероятностей –– теоретическому. Выделяют общие критерии согласия, применимые для проверки любых видов распределений вероятностей, и специальные критерии, применимые для проверки определенных групп распределений. В последнем случае при формулировании критериев согласия используются свойства функций для выбранной группы распределений.

Критерии согласия могут быть основаны на изучении разницы между теоретической плотностью распределения и гистограммой (к примеру, критерий согласия 2 ), а могут – на изучении разницы между теоретической и эмпирической функциями распределения (к примеру, критерий Колмогорова–Смирнова).

Гипотезы: Проверяется нулевая гипотеза 0 : () = 0 (, ) против альтернативной 1 : () = 0 (, ), где 0 (, ) – теоретическая функция распределения случайной величины ;

R –– -мерный вектор в общем случае неизвестных параметров распределения.

Статистика: Критерий согласия 2, предложенный К. Пирсоном в 1900 году, основывается на анализе группированных данных.

При этом область возможных значений реализации выборки {1, 2,..., } разбивают на непересекающихся интервалов:

(0, ] = (0, 1 ] (1, 2 ]... (1, ] и вычисляют статистику, имеющую распределение 2 с числом степеней свободы где –– эмпирическая частота попаданий выборочных значений в интервал (1, ]; –– теоретическая вероятность попадания значений случайной величины в интервал (1, ]:

-мерного вектора неизвестных параметров распределения.

Критерий: Если наблюдаемое значение статистики превосходит на заданном уровне значимости квантиль распределения с тем же числом степеней свободы: > альтернативной 1 : () = 0 (, ). В противном случае = 0 (, ) на уровне значимости согласуется с выборочными В ряде случаев критерий согласия 2 может демонстрировать слабую устойчивость на выборках с низкочастотными событиями < 5. Для решения этой проблемы обычно рекомендуется объединять интервалы, не отвечающие критерию 5, с соседними до достижения частот приемлемого уровня или использовать равновероятное группирование, при котором, где = 1, 2,...,.

Необходимо отметить, что по действующим рекомендациям уменьшение числа степеней свободы в распределении 2 на число неизвестных параметров до 1 оправдано лишь в том случае, когда эти параметры оценивались по группированным данным1. Если же оценки параметров вычислялись по негруппированной реализации выборки, то действительное распределение наблюдаемой статистики Пример 3.3. Для реализации выборки, использованной в примере 3.1, выполним проверку нулевой гипотезы 0 : () = 0 (, (, )), где 0 (, (, )) = ( ) + 2 при альтернативной 1 = 0 по критерию согласия Пирсона на уровне значимости = 0.05.

> source("samples.r") > x m windows(); plot(ecdf(v), pch=".", main="", xlab="", ylab="") > rug(v); lines(w, pt(w, m[which.max(alpha)])) Назначение команд в строках 1–2 целиком аналогичны ранее указанным в примере 3.1. В строке 3 задаётся вектор числа степеней свободы «m», вычисляется центрированный вектор значений выборки «v» и проводится его сортировка по возрастанию «w». Далее в строке 4 с помощью композиции функций «sapply(...ks.test()[[2]])»

для каждого значения числа степеней свободы «m» по критерию согласия Колмогорова вычисляются достигаемые уровни значимости для нулевой гипотезы 0 : () = 0 () при альтернативной 1 : () = 0 (), где 0 () –– теоретическая функция распределения Стьюдента с заданным числом степеней свободы.

Далее в строках 5–6 с помощью функции «plot()» строится график зависимости (), на котором с помощью функции «abline()»

горизонтальной «h=0.05» штриховой линией «lty=2» отмечается типичный уровень значимости, используемый при проверке гипотез.

0. 0. 0. 0. 0. 0. В строках 7–8 с помощью композиций «plot(ecdf()...)», а также «lines(...pt())» строятся графики эмпирической функции распределения () и теоретической функции -распределения 0 () с числом степеней свободы = 2, соответствующим максимально достижимому уровню значимости «m[which.max(alpha)]».

Изучение графиков показывает, что с ростом числа степеней свободы теоретического распределения Стьюдента уровень значимости, достигаемый при проверке нулевой гипотезы 0 : () = = 0 () по критерию согласия Колмогорова падает, что на первый взгляд плохо согласуется со свойствами -распределения. Объяснение этого кажущегося несоответствия авторы предлагают читателю найти самостоятельно.

Критерий однородности Смирнова Гипотезы: Проверяется нулевая гипотеза 0 : 1 () = 2 () против альтернативной 1 : 1 () = 2 (), где 1 () и 2 () –– неизвестные теоретические функции распределения, для оценки которых используются построенные по независимым выборкам объёмами и эмпирические функции распределения () и 70 3. Основы математической статистики Статистика: Здесь также используется статистика Колмогорова, соответствующая максимальному абсолютному отклонению эмпирических функций распределения () и () уровне значимости отвергается в пользу альтернативной 1 : 1 () = 2 (). В противном случае говорят, что нулевая гипотеза 0 : 1 () = 2 () на уровне значимости согласуется с выборочными данными.

Пример 3.5. Для двух частей реализации выборки, использованной в примере 3.1: { } = { } { }, где = +–– объёмы полной и частичных выборок, с помощью критерия однородности Смирнова на уровне значимости = 0.05 проверить нулевую гипотезу 0 : 1 () = = 2 () при альтернативной 1 : 1 () = 2 ().

> source("samples.r") > x u plot(ecdf(v), pch=24, cex=0.5, add=TRUE); rug(v, side=3) 1. 0. 0. 0. = 0.2479, сравнение которого с заданным уровнем = 0.05 позРис. 3.9. Графики эмпирических воляет сделать вывод об удовлефункций распределения () и творительном согласовании нудля соответствующих частей левой гипотезы с выборочными выборки: { } и { } В строках 8–9 с помощью композиции «plot(ecdf())» выполняется построение эмпирических функций распределения () и (), а с помощью команды «rug()» – отображение соответствующих этим функциям частей выборки вблизи нижней и верхней границ графика.

3.4.3. Стьюдента -критерий значимости различий Критерии значимости различий предполагают проверку гипотез о численных значениях известного закона распределения. Например, гипотезы о равенстве средних значений 0 : = или гипотезы о равенстве дисперсий 0 : =.

Исторически -критерий Стьюдента получил свое название в связи с работой Уильяма Госсета, опубликованной в 1908 году в журнале «Биометрика» под псевдонимом «Student». В настоящее время, под критерием Стьюдента понимаются любые тесты, в которых статистика критерия имеет распределение Стьюдента.

Наиболее часто -критерии применяются для проверки нулевой гипотезы о равенстве средних значений в двух выборках. Все разновидности критерия Стьюдента основаны на предположении о нормальности выборочных данных. Поэтому перед применением критерия Стьюдента необходимо проверить соответствующую гипотезу с помощью одного из критериев согласия.

Одновыборочный -критерий Гипотезы: Проверяется нулевая гипотеза 0 : = против альтернативных 1 : а) =, б) <, в) >, где – среднее значение; – заданное постоянное значение.

Статистика: При проверке нулевой гипотезы используется статистика, которая имеет распределение Стьюдента с числом степеней свободы где 2 –– исправленная выборочная дисперсия.

Критерий: Если наблюдаемое значение статистики :

а) по модулю превосходит -квантиль распределения Стьюдента с числом степеней свободы 1: | | >,1 ;

б) меньше -квантиля распределения Стьюдента с числом степеней свободы 1: <,1 ;

в) больше (1 )-квантиля распределения Стьюдента с числом степеней свободы 1: > 1,1, то нулевая гипотеза 0 : = на уровне значимости отвергается в пользу альтернативных 1 : а) = ; б) < ; в) >.

В противном случае говорят, что нулевая гипотеза на уровне значимости согласуется с выборочными данными.

Пример 3.6. Для реализации выборки, использованной в примере 3.1, проанализировать с помощью одновыборочного критерия Стьюдента зависимости для достигаемого уровня значимости от значения параметра [ 2, + 2 ] для нулевой гипотезы 0 : = при альтернативных 1 : а) =, б) <, в) >.

> source("samples.r") 1. 0. Рис. 3.10. Зависимость достигае- а) =, б) <, в) >. Укамого уровня значимости от па- занные кривые изображаются на раметра для нулевой гипотезы графике: а) сплошной, б) штрипри альтернативных 1 : ховой «lty=2», в) штрихпунктира) =, б) <, в) > В строке 9 с помощью функции «abline()» отмечается пятипроцентный уровень значимости, позволяющий приближённо оценить размеры доверительных интервалов для к каждой из альтернативных гипотез (а–в).

Двухвыборочный -критерий для независимых выборок Для применения данного критерия помимо предположения о нормальности выборочных данных, также необходимо соблюдение условия равенства дисперсий: =.

Задача сравнения средних двух нормально распределённых выборок при неизвестных и неравных дисперсиях известна как проблема Беренса–Фишера. Точного решения этой задачи к настоящему времени не существует, но на практике получили распространение различные приближенные методы.

Гипотезы: Проверяется нулевая гипотеза 0 : = против альтернативных: а) 1 : =, б) 1 : <, в) 1 : >, где, –– средние значения.

Статистика: При проверке нулевой гипотезы используется статистика, которая имеет распределение Стьюдента с числом степеОсновы математической статистики выборочные дисперсии.

Критерий: Если наблюдаемое значение статистики :

а) по модулю превосходит -квантиль распределения Стьюдента с числом степеней свободы + 2: | | >,+2 ;

б) меньше -квантиля распределения Стьюдента с числом степеней свободы + 2: <,+2 ;

в) больше (1 )-квантиля распределения Стьюдента с числом степеней свободы 1: > 1,+2, то нулевая гипотеза 0 : = на уровне значимости отвергается в пользу альтернативных 1 : а) =, б) <, в) >.

В противном случае говорят, что нулевая гипотеза на уровне значимости согласуется с выборочными данными.

Пример 3.7. Для двух частей реализации выборки, использованной в примере 3.1: { } = { } { }, где = +–– объёмы полной и частичных выборок, с помощью двухвыборочного -критерия Стьюдента на уровне значимости = 0.05 проверить нулевую гипотезу > source("samples.r") > x u t.test(u,v, var.equal=TRUE, alter="le") t = -1.4731, df = 98, p-value = 0. alternative hypothesis: true difference in means is less than 95 percent confidence interval:

sample estimates:

8.060439 8. > t.test(u,v, var.equal=TRUE, alter="gr") t = -1.4731, df = 98, p-value = 0. alternative hypothesis: true difference in means is greater than 95 percent confidence interval:

sample estimates:

8.060439 8. Назначения команд в строках 1–2 соответствуют ранее указанным в примере 3.1. В строке 3 вычисляются частичные выборочные векторы { } и { }.

Функция «t.test()» в строках 4, 14 и 24 по двухвыборочному -критерию Стьюдента вычисляет достигаемый уровень значимости для нулевой гипотезы 0 : = при альтернативных 1 : а) =, В строках 7, 17 и 27 показаны достигаемые уровни значимости для соответствующих пар нулевой и альтернативных гипотез: а) = = 0.1439, б) = 0.07196, в) = 0.928. Сравнение достигаемых уровней с заданным = 0.05 позволяет в случаях (а) и (б) сделать выводы об удовлетворительном, а в случае (в) – о хорошем согласовании нулевой гипотезы с выборочными данными.

3.4.4. Фишера -критерий значимости различий -критерий Фишера применяется для проверки гипотезы о равенстве дисперсий. Критерий Фишера может применяться как самостоятельно, так и перед проверкой гипотез о равенстве средних с помощью критерия Стьюдента. Если гипотеза о равенстве дисперсий принимается, то для сравнения средних можно выбрать более мощный критерий. Критерий Фишера основан на дополнительных предположениях о независимости и нормальности выборочных данных. Поэтому перед применением критерия Фишера необходимо проверить соответствующую гипотезу с помощью одного из критериев согласия.

Гипотезы: Проверяется нулевая гипотеза 0 : = против альб) : 2 > 2, где 2, 2 – дисперсии.

76 3. Основы математической статистики Статистика: При проверке нулевой гипотезы используется статистика, которая имеет распределение Фишера с числом степеней где, –– объёмы выборок { } и { } ; 2, 2 – исправленные выборочные дисперсии.

Критерий: Если наблюдаемое значение статистики :

а) меньше -квантиля или больше (1 )-квантиля распределения Фишера с числом степеней свободы 1 : <, б) больше (1 )-квантиля распределения Фишера с числом степеней свободы 1 : > 1, 1, то нулевая гипотеза 0 : = на уровне значимости отвергается в пользу альтернативных 1 : а) =, б) >.

В противном случае говорят, что нулевая гипотеза на уровне значимости согласуется с выборочными данными.

Пример 3.8. Для двух частей реализации выборки, использованной в примере 3.1: { } = { } { }, где = + – объёмы полной и частичных выборок, с помощью -критерия Фишера на уровне значимости = 0.05 проверить нулевую гипотезу 0 : = при > source("samples.r") F = 0.6226, num df = 48, denom df = 50, p-value = 0. alternative hypothesis: true ratio of variances is not equal to 95 percent confidence interval:

0.3538423 1. sample estimates:

> var.test(u,v, alter="le") F = 0.6226, num df = 48, denom df = 50, p-value = 0. alternative hypothesis: true ratio of variances is less than 95 percent confidence interval:

0.000000 1. sample estimates:

ratio of variances > var.test(u,v, alter="gr") F = 0.6226, num df = 48, denom df = 50, p-value = 0. alternative hypothesis: true ratio of variances is greater than 95 percent confidence interval:

sample estimates:

ratio of variances Назначения команд в строках 1–2 соответствуют ранее указанным в примере 3.1. В строках 3–4 вычисляются частичные выборочные векторы { } и { }, а с помощью функции «var()» – соответствующие им исправленные выборочные дисперсии: 2 2.70 и 2 4.34.

Функция «var.test()» в строках 7, 17 и 27 по -критерию Фишера вычисляет достигаемый уровень значимости для нулевой гипотезы 0 : = при альтернативных 1 : а) =, б) <, В строках 10, 20 и 30 показаны достигаемые уровни значимости для соответствующих пар нулевой и альтернативных гипотез:

а) = 0.1015, б) = 0.05075, в) = 0.9493. Сравнение достигаемых уровней с заданным = 0.05 позволяет в случаях (а) и (в) сделать выводы об удовлетворительном и хорошем, а в случае (б) – о – неудовлетворительном согласовании нулевой гипотезы с выборочными данными.

3.4.5. Однофакторный дисперсионный анализ Дисперсионный анализ предназначен для оценки влияния одного или нескольких факторов (качественных величин) на количественную случайную величину. В случае, когда рассматривается влияние только одного качественного признака, имеющего конечное число уровней градаций, дисперсионный анализ называется однофакторным.

Предположим, что одна и та же случайная величина с одинаковой точностью измеряется при различных значениях фактора. Если анализируемый фактор оказывает существенное влияние на, то наблюдения на одном уровне будут значимо отличаться от наблюдений на других уровнях, и, следовательно, средние значения на разных уровнях будут различными. И наоборот, если фактор не оказывает влияние на рассматриваемую случайную величину, то средние значения на различных уровнях будут статистически незначимо отличаться друг от друга.

Представим результаты наблюдений в виде таблицы:

где –– уровни фактора; = 1, 2,..., – номера наблюдений на -ом уровне; –– количество наблюдений на -ом уровне; – наблюдаемые значения.

При проведении дисперсионного анализа предполагается выполнение следующих условий:

1. Результаты наблюдений – это независимые случайные величины, то есть cov(, ) = 0, где = и/или = ;

2. Совокупности наблюдаемых значений {1, 2,..., } на каждом уровне нормально распределены: (, ), где, – 2– среднее и дисперсия -го уровня;

Гипотеза: С учётом выдвинутых условий формулируется нулевая гипотеза о равенстве средних всех уровней 0 : 1 = 2 =... = = при альтернативной, что хотя бы одно из указанных равенств нарушается 1 : =, где =.

Статистика: Рассмотрим следующие величины:

где –– средние значения -го уровня; –– общее среднее значение всех величин.

где –– сумма квадратов отклонений отдельных наблюдений от общего среднего ; –– сумма квадратов отклонений средних значений уровней от общей средней, которая характеризует различия между средними значениями отдельных уровней и определяется влиянием рассматриваемого фактора;

–– сумма квадратов отклонений отдельных наблюдений от средних значений своего уровня, которая обусловлена наличием неучтённых факторов и называется остаточным рассеянием или суммой квадратов внутри групп.

Можно доказать, что имеет место равенство = +, причём, левая часть равенства имеет 1 степень свободы, первое слагаемое в правой части – ( 1) степень свободы, а второе –– ( ), и каждая сумма квадратов, делённая на соответствующее число степеней свободы, будет представлять несмещённую оценку дисперсии случайной величины. При этом, величина 1 в любом случае является несмещённой оценкой дисперсии, а величины 1 и – только в рамках гипотезы о равенстве средних значений уровней фактора, то есть при отсутствии влияния исследуемого фактора на случайную величину. Тогда при согласии с нулевой гипотезой 0 : 1 = 2 =... = статистика будет иметь распределение Фишера с числами степеней свободы числителя 1, и Критерий: Гипотеза 0 принимается, если <,, и отвергается в противном случае, где, – Вышеуказанный выбор критической области, определяется тем, что при выполнении альтернативной гипотезы 1 статистика неограниченно возрастает с ростом объёма выборки.

80 3. Основы математической статистики Пример 3.9. В ходе исследования были значения количественного признака для трёх различных уровней качественного признака (фактора). Используя методику однофакторного дисперсионного анализа, требуется определить: значимо ли влияние изменения качественного признака на величину признака количественного?

> D = c(4.0,4.5,4.3,5.6,4.9,5.4,3.8,3.7,4.0) > B = c(4.5,4.9,5.0,5.7,5.5,5.6,4.7,4.5,4.7) > S = c(5.4,4.9,5.6,5.8,6.1,6.3,5.5,5.0,5.0) > adhf = stack(data.frame(D,B,S)); adhf > anova(lm(values ~ ind, data=adhf)) Residuals 24 7.5978 0. --Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ В строках 1–3 вводятся векторы значений выборочных данных.

Вектор «D» соответствует замерам количественного признака на перПроверка статистических гипотез вом, вектор «B» – на втором, а вектор «S» – на третьем уровне качественного признака.

Далее в строке 4 с помощью композиции «stack(data.frame())»

формируется таблица исходных данных, показанная в строках 5–32, а в строке 33 с помощью композиции «anova(lm())» проводится её дисперсионный анализ.

Для разделения столбцов значений на качественные признаки и количественные при проведении дисперсионного анализа используется запись вида «value~ind», где столбец «value» соответствует количественному вектору, а столбец «ind» – качественному.

В строках 37–38 приведены данные по межгрупповым «ind» и внутригрупповым «Residuals» дисперсиям. Столбец «Df» содержит данные по числам степеней свободы, столбцы «Sum Sq» и «Mean Sq»– – данные по суммам квадратов отклонений и дисперсиям наблюдений, столбец «F value» содержит наблюдаемое значение -статистики, а столбец «Pr(>F)» – вероятность того, что межгрупповая дисперсия не превышает внутригрупповую.

Как показывает анализ дисперсий, вероятность того, что изменение уровней качественного признака значимо влияет на величину количественного, составляет примерно 99.75%.

Контрольные вопросы 1. Что называют генеральной совокупностью?

2. Что такое выборка (выборочная совокупность)? Что называют объёмом выборки?

3. Что называют статистикой для заданной выборки?

4. Запишите определения эмпирических функций распределения и плотности распределения. Приведите примеры их графиков.

5. Напишите формулы для вычисления основных выборочных характеристик: среднего, дисперсии, ковариации, коэффициента корреляции.

6. Какую оценку называют точечной. Поясните содержание требований, предъявляемых к точечным оценкам (состоятельность, несмещённость, эффективность).

7. Какая точечная оценка является состоятельной, несмещённой и эффективной для математического ожидания генеральной совокупности?

82 3. Основы математической статистики 8. Какие точечные оценки для дисперсии генеральной совокупности являются смещёнными и несмещёнными? Являются ли эти оценки состоятельными?

9. Напишите формулы точечных оценок ковариации и коэффициента корреляции.

10. Что называют доверительной вероятностью и доверительным интервалом для неизвестного параметра ?

11. Какую статистику используют при построении доверительного интервала для параметра случайной величины (, )?

По какому закону распределена эта статистика?

12. Какую статистику используют при построении доверительного интервала для параметра 2 случайной величины (, )?

По какому закону распределена эта статистика?

13. Что такое статистическая гипотеза? Какие статистические гипотезы называют: основными или альтернативными, сложными или простыми?

14. Что называют статистическим критерием и его уровнем значимости при проверке статистической гипотезы?

15. В чем заключается ошибка первого рода? Что такое уровень значимости (-уровень)?

16. Какое множество называют критическим? В чем заключается ошибка второго рода? Что называют мощностью критерия?

17. В чем состоит принцип двойственности при построении доверительных интервалов и проверке гипотез о значениях параметров распределения?

18. Какие статистические критерии называют критериями согласия?

19. Каким образом проверяется гипотеза о виде распределения непрерывной случайной величины по 2 -критерию Пирсона?

20. Для проверки каких гипотез используются критерии Колмогорова–Смирнова? Какую статистику используют эти критерии?

21. Какие статистические критерии называют критериями значимости различий?

22. Для проверки каких гипотез используются одно- и двухвыборочные -критерии Стьюдента? Какую статистику используют эти критерии?

3.4. Проверка статистических гипотез 23. Для проверки каких гипотез используется Фишера -критерий значимости различий? Какую статистику использует этот критерий?

24. Какие задачи являются объектом исследования в дисперсионном анализе?

25. В каком случае дисперсионный анализ называют одно- и многофакторным?

26. Каковы предпосылки однофакторного дисперсионного анализа?

27. Как формулируются основная и альтернативная гипотезы однофакторного дисперсионного анализа?

Глава Начала регрессионного анализа 4.1. Основные понятия регрессионного 4.1.1. Зависимые и независимые переменные Регрессионный анализ исследует и оценивает связь между зависимой или объясняемой переменной и независимыми или объясняющими переменными. Зависимую переменную иногда называют результативным признаком, а объясняющие переменные – предик- – торами, регрессорами или факторами.

Обозначим зависимую переменную, а независимые – 1, 2,...,. При = 1 имеется только одна независимая переменная и регрессия называется парной. При > 1 имеется множество независимых переменных 1, 2,..., и регрессия называется множественной.

Рассмотрим построение простейшей регрессионной модели где –– зависимая случайная переменная; –– независимая детерминированная переменная; 0, 1 – постоянные параметры уравнения;

–– случайная переменная, называемая также ошибкой.

Будем считать, что истинная зависимость между и – линейная, то есть существует некоторая зависимость = 0 + 1. Задача регрессионного анализа заключается в получении оценок коэффициентов 0, 1.

Величина слагаемого, соответствует отклонению эмпирических данных от прямой регрессии и может быть связана с ошибками измерений, неверно выбранной формой зависимости между переменными и и другими причинами.

4.1. Основные понятия регрессионного анализа Вид зависимости обычно выбирают графически, проверяя качество моделей на контрольной выборке, либо используя априорные соображения.

Для оценивания параметров 0, 1,..., обычно применяют метод наименьших квадратов (МНК). Однако существуют и другие методы оценки: метод максимального правдоподобия, метод наименьших модулей и тому подобное.

4.1.2. Оценка параметров уравнения регрессии Пусть имеется наблюдений, тогда уравнение регрессии можно переписать в виде:

Будем рассматривать случайное слагаемое как последовательность случайных величин: 1, 2,...,.

Метод наименьших квадратов сводится к тому, чтобы получить такие оценки 0, 1 параметров 0, 1, при которых минимизируется сумма квадратов отклонений фактических значений признака от теоретических = 0 + 1 :

Для минимизации функции (0, 1 ) приравняем к нулю её частные производные 0 и 1 :

После преобразований получим систему нормальных уравнений Решая систему нормальных уравнений, находим 0, 1 :

или в компактной форме: 0 = 1, где 1 = cov(,).

Коэффициент 1 называется выборочным коэффициентом регрессии. Если независимую переменную увеличить на единицу, то новое значение зависимой переменной ( + 1) будет равно () + 1.

Коэффициент 0 численно равен значению результирующего признака при нулевом значении фактора.

4.1.3. Оценка качества выборочного уравнения Уравнение выборочной регрессии имеет вид = 0 + 1. Обозначим = 0 + 1 – расчётное значение зависимой переменной, вычисленное при значении независимой переменной =. Тогда =, = 1, 2,..., –– остатки, характеризующие отклонения наблюдаемых значений зависимой переменной от расчётных. Заметим, что полная сумма отклонений будет равна нулю при любых выборочных значениях и, следовательно, не может быть использована для оценки качества уравнения регрессии. Это свойство является одним из важнейших оптимизационных свойств МНК-оценок.

В связи с этим при оценке качества выборочного уравнения регрессии используются следующие суммы квадратов отклонений:

где –– общая сумма квадратов отклонений значений зависимой переменной от её выборочного среднего значения; – сумма квадратов отклонений расчётных значений зависимой переменной от её выборочного среднего значения; – сумма квадратов отклонений, от линии регрессии, обычно называемая суммой квадратов остатков или Величину 2 называют средней квадратической погрешностью или ошибкой уравнения регрессии.

Между приведёнными выше суммами квадратов существует связь:

= +, которая и позволяет характеризовать качество построОсновные понятия регрессионного анализа енного уравнения регрессии. Уравнение регрессии считается тем лучше, чем больше сумма квадратов, обусловленная регрессией, по сравнению с суммой квадратов остатков. В этом случае уравнение регрессии воспроизводит большую часть суммы квадратов отклонений зависимой переменной от её среднего значения и может быть использовано в практических приложениях.

Для того чтобы формализовать это представление используется коэффициент детерминации: