«ПРИКЛАДНАЯ СТАТИСТИКА Учебник для вузов Издательство ЭКЗАМЕН МОСКВА 2004 1 Орлов А.И. Прикладная статистика. Учебник. / А.И.Орлов.- М.: Издательство Экзамен, 2004. - 656 с. Аннотация Учебник посвящен основным методам ...»

распространенной модели погрешностей, в которой X и случайные величины, причем X имеет нормальное распределение с нулевым математическим ожиданием.

Строго говоря, результаты наблюдения всегда имеют дискретное распределение, поскольку описываются числами с небольшими (1 - 5) числом значащих цифр. Возникает дилемма: либо признать, что непрерывные распределения - фикция, и прекратить ими пользоваться, либо считать, что непрерывные распределения имеют "реальные" величины X, которые мы наблюдаем с принципиально неустранимой погрешностью X. Первый выход в настоящее время нецелесообразен, так как потребует отказаться от большей части разработанного математического аппарата. Из второго следует необходимость изучения влияния неустранимых погрешностей на статистические выводы.

Погрешности X можно учитывать либо с помощью вероятностной модели ( X случайная величина, имеющая функцию распределения, вообще говоря, зависящую от X), либо с помощью нечетких множеств. Во втором случае приходим к теории нечетких чисел и к ее частному случаю - статистике интервальных данных (см. главу 3.5).

Другой источник появления погрешности X связан с принятой в конструкторской и технологической документации системой допусков на контролируемые параметры изделий и деталей, с использованием шаблонов при проверке контроля качества продукции [12]. В этих случаях характеристики X определяются не свойствами средств измерения, а применяемой технологией проектирования и производства. В терминах прикладной статистики сказанному соответствует группировка данных, при которой мы знаем, какому из заданных интервалов принадлежит наблюдение, но не знаем точного значения результата наблюдения. Применение группировки может дать экономический эффект, поскольку зачастую легче (в среднем) установить, к какому интервалу относится результат наблюдения, чем точно измерить его.

Объекты нечисловой природы как результат статистической обработки данных.

Объекты нечисловой природы появляются не только на "входе" статистической процедуры, но и в процессе обработки данных, и на "выходе" в качестве итога статистического анализа.

Рассмотрим простейшую прикладную постановку задачи регрессии (см. также главу 3.2). Исходные данные имеют вид ( xi, y i ) R, i = 1,2,..., n.. Цель состоит в том, чтобы с достаточной точностью описать y как полином от x, т.е. модель имеет вид где m - неизвестная степень полинома; a 0, a1, a 2,..., a m - неизвестные коэффициенты многочлена; i, i = 1,2,..., n, - погрешности, которые для простоты примем независимыми и имеющими одно и то же нормальное распределение. (Здесь наглядно проявляется одна из причин живучести статистических моделей на основе нормального распределения. Такие модели, хотя и, как правило, неадекватны реальной ситуации (см. главу 2.1), с математической точки зрения позволяет проникнуть глубже в суть изучаемого явления. Поэтому они пригодны для первоначального анализа ситуации, как и в рассматриваемом случае. Дальнейшие научные исследования должны быть направлены на снятие нереалистического предположения нормальности и перехода к непараметрическим моделям погрешности.) Распространенная процедура такова: сначала пытаются применить модель (2) для линейной функции (m = 1), при неудаче (неадекватности модели) переходят к многочлену второго порядка (m = 2), если снова неудача, то берут модель (2) с m= 3 и т.д. (адекватность модели проверяют по F-критерию Фишера).

Обсудим свойства этой процедуры в терминах прикладной статистики. Если степень полинома задана (m = m0), то его коэффициенты оценивают методом наименьших квадратов, свойства этих оценок хорошо известны (см., например, главу 3.2 или монографию [13, гл.26]).

Однако в описанной выше реальной постановке m тоже является неизвестным параметром и подлежит оценке. Таким образом, требуется оценить объект (m, a0, a1, a2, …, am), множество значений которого можно описать как R U R U R U... Это - объект нечисловой природы, обычные методы оценивания для него неприменимы, так как m - дискретный параметр. В рассматриваемой постановке разработанные к настоящему времени методы оценивания степени полинома носят в основном эвристический характер (см., например, гл. монографии [14]). Свойства описанной выше распространенной процедуры рассмотрены в главе 3.2. Там показано, что степень полинома m при этом оценивается несостоятельно, и найдено предельное распределение оценки этого параметра, оказавшееся геометрическим.

В более общем случае линейной регрессии данные имеют вид ( y i, X i ), i = 1,2,..., n, где X i = ( xi1, xi 2,..., xiN ) R N - вектор предикторов (факторов, объясняющих переменных), а модель такова:

(здесь K - некоторое подмножество множества {1,2,…,n}; i - те же, что и в модели (2); aj неизвестные коэффициенты при предикторах с номерами из K). Модель (2) сводится к модели (3), если В модели (2) есть естественный порядок ввода предикторов в рассмотрение - в соответствии с возрастанием степени, а в модели (3) естественного порядка нет, поэтому здесь стоит произвольное подмножество множества предикторов. Есть только частичный порядок чем мощность подмножества меньше, тем лучше. Модель (3) особенно актуальна в технических исследованиях (см. многочисленные примеры в журнале «Заводская лаборатория»). Она применяется в задачах управления качеством продукции и других техникоэкономических исследованиях, в экономике, маркетинге и социологии, когда из большого числа факторов, предположительно влияющих на изучаемую переменную, надо отобрать по возможности наименьшее число значимых факторов и с их помощью сконструировать прогнозирующую формулу (3).

Задача оценивания модели (3) разбивается на две последовательные задачи: оценивание множества K - подмножества множества всех предикторов, а затем - неизвестных параметров aj. Методы решения второй задачи хорошо известны и подробно изучены. Гораздо хуже обстоит дело с оцениванием объекта нечисловой природы K. Как уже отмечалось, существующие методы - в основном эвристические, они зачастую не являются даже состоятельными. Даже само понятие состоятельности в данном случае требует специального определения. Пусть K0 - истинное подмножество предикторов, т.е. подмножество, для которого справедлива модель (3), а подмножество предикторов Kn - его оценка. Оценка Kn называется состоятельной, если где - символ симметрической разности множеств; Card(K) означает число элементов в множестве K, а предел понимается в смысле сходимости по вероятности.

Задача оценивания в моделях регрессии, таким образом, разбивается на две оценивание структуры модели и оценивание параметров при заданной структуре. В модели (2) структура описывается неотрицательным целым числом m, в модели (3) - множеством K.

Структура - объект нечисловой природы. Задача ее оценивания сложна, в то время как задача оценивания численных параметров при заданной структуре хорошо изучена, разработаны эффективные (в смысле прикладной математической статистики) методы.

Такова же ситуация и в других методах многомерного статистического анализа - в факторном анализе (включая метод главных компонент) и в многомерном шкалировании, в иных оптимизационных постановках проблем прикладного многомерного статистического анализа.

Перейдем к объектам нечисловой природы на "выходе" статистической процедуры.

Примеры многочисленны. Разбиения - итог работы многих алгоритмов классификации, в частности, алгоритмов кластер-анализа. Ранжировки - результат упорядочения профессий по привлекательности или автоматизированной обработки мнений экспертов - членов комиссии по подведению итогов конкурса научных работ. (В последнем случае используются ранжировки со связями; так, в одну группу, наиболее многочисленную, попадают работы, не получившие наград.) Из всех объектов нечисловой природы, видимо, наиболее часты на "выходе" дихотомические данные - принять или не принять гипотезу, в частности, принять или забраковать партию продукции. Результатом статистической обработка данных может быть множество, например зона наибольшего поражения при аварии, или последовательность множеств, например, "среднемерное" описание распространения пожара (см. главу 4 в монографии [2]). Нечетким множеством Э. Борель [15] еще в начале ХХ в. предлагал описывать представление людей о числе зерен, образующем "кучу". С помощью нечетких множеств формализуются значения лингвистических переменных, выступающих как итоговая оценка качества систем автоматизированного проектирования, сельскохозяйственных машин, бытовых газовых плит, надежности программного обеспечения или систем управления.

Можно констатировать, что все виды объектов нечисловой природы могут появляться " на выходе" статистического исследования.

1.1.4. Нечеткие множества – частный случай нечисловых данных Нечеткие множества. Пусть A - некоторое множество. Подмножество B множества A характеризуется своей характеристической функцией Что такое нечеткое множество? Обычно говорят, что нечеткое подмножество C множества A характеризуется своей функцией принадлежности µ C : A [0,1]. Значение функции принадлежности в точке х показывает степень принадлежности этой точки нечеткому множеству. Нечеткое множество описывает неопределенность, соответствующую точке х – она одновременно и входит, и не входит в нечеткое множество С. За вхождение - µ c (x) шансов, за второе – (1- µ c (x) ) шансов.

Если функция принадлежности µ C (x) имеет вид (1) при некотором B, то C есть обычное (четкое) подмножество A. Таким образом, теория нечетких множество является не менее общей математической дисциплиной, чем обычная теория множеств, поскольку обычные множества – частный случай нечетких. Соответственно можно ожидать, что теория нечеткости как целое обобщает классическую математику. Однако позже мы увидим, что теория нечеткости в определенном смысле сводится к теории случайных множеств и тем самым является частью классической математики. Другими словами, по степени общности обычная математика и нечеткая математика эквивалентны. Однако для практического применения в теории принятия решений описание и анализ неопределенностей с помощью теории нечетких множеств весьма плодотворны.

Обычное подмножество можно было бы отождествить с его характеристической функцией. Этого математики не делают, поскольку для задания функции (в ныне принятом подходе) необходимо сначала задать множество. Нечеткое же подмножество с формальной точки зрения можно отождествить с его функцией принадлежности. Однако термин "нечеткое подмножество" предпочтительнее при построении математических моделей реальных явлений.

Теория нечеткости является обобщением интервальной математики. Действительно, функция принадлежности задает интервальную неопределенность – про рассматриваемую величину известно лишь, что она лежит в заданном интервале [a,b]. Тем самым описание неопределенностей с помощью нечетких множеств является более общим, чем с помощью интервалов.

Начало современной теории нечеткости положено работой 1965 г. американского ученого азербайджанского происхождения Л.А.Заде. К настоящему времени по этой теории опубликованы тысячи книг и статей, издается несколько международных журналов, выполнено достаточно много как теоретических, так и прикладных работ. Первая книга российского автора по теории нечеткости вышла в 1980 г. [16].

Л.А. Заде рассматривал теорию нечетких множеств как аппарат анализа и моделирования гуманистических систем, т.е. систем, в которых участвует человек. Его подход опирается на предпосылку о том, что элементами мышления человека являются не числа, а элементы некоторых нечетких множеств или классов объектов, для которых переход от "принадлежности" к "непринадлежности" не скачкообразен, а непрерывен. В настоящее время методы теории нечеткости используются почти во всех прикладных областях, в том числе при управлении предприятиями, качеством продукции и технологическими процессами, при описании предпочтений потребителей и варки стали.

Л.А. Заде использовал термин "fuzzy set" (нечеткое множество). На русский язык термин "fuzzy" переводили как нечеткий, размытый, расплывчатый, и даже как пушистый и туманный.

Аппарат теории нечеткости громоздок. В качестве примера дадим определения теоретико-множественных операций над нечеткими множествами. Пусть C и D- два нечетких подмножества A с функциями принадлежности µ C (x) и µ D (x) соответственно. Пересечением C I D, произведением CD, объединением C U D, отрицанием C, суммой C+D называются нечеткие подмножества A с функциями принадлежности соответственно.

Как уже отмечалось, теория нечетких множеств в определенном смысле сводится к теории вероятностей, а именно, к теории случайных множеств. Соответствующий цикл теорем приведен ниже в главе 1.4. Однако при решении прикладных задач вероятностностатистические методы и методы теории нечеткости обычно рассматриваются как различные.

Для знакомства со спецификой нечетких множеств рассмотрим некоторые их свойства.

В дальнейшем считаем, что все рассматриваемые нечеткие множества являются подмножествами одного и того же множества Y.

Законы де Моргана для нечетких множеств. Как известно, законами же Моргана называются следующие тождества алгебры множеств Теорема 1. Для нечетких множеств справедливы тождества Доказательство теоремы 1 состоит в непосредственной проверке справедливости соотношений (3) и (4) путем вычисления значений функций принадлежности участвующих в этих соотношениях нечетких множеств на основе определений, данных выше.

Тождества (3) и (4) назовем законами де Моргана для нечетких множеств. В отличие от классического случая соотношений (2), они состоят из четырех тождеств, одна пара которых относится к операциям объединения и пересечения, а вторая - к операциям произведения и суммы. Как и соотношение (2) в алгебре множеств, законы де Моргана в алгебре нечетких множеств позволяют преобразовывать выражения и формулы, в состав которых входят операции отрицания.

Дистрибутивный закон для нечетких множеств. Некоторые свойства операций над множествами не выполнены для нечетких множеств. Так, A + A A, за исключением случая, когда А - "четкое" множество (т.е. функция принадлежности принимает только значения 0 и 1).

Верен ли дистрибутивный закон для нечетких множеств? В литературе иногда расплывчато утверждается, что "не всегда". Внесем полную ясность.

Теорема 2. Для любых нечетких множеств А, В и С В то же время равенство справедливо тогда и только тогда, когда при всех Доказательство. Фиксируем произвольный элемент y Y. Для сокращения записи обозначим a = µ A ( y ), b = µ B ( y ), c = µ C ( y ). Для доказательства тождества (5) необходимо показать, что Рассмотрим различные упорядочения трех чисел a, b, c. Пусть сначала a b c. Тогда левая часть соотношения (7) есть min(a, c) = a, а правая max(a, a) = a, т.е. равенство (7) справедливо.

Пусть b a c. Тогда в соотношении (7) слева стоит min(a, c) = a, а справа max(b, a) = a, т.е. соотношение (7) опять является равенством.

Если b c a, то в соотношении (7) слева стоит min(a, c) = c, а справа max(b, c) = c, т.е. обе части снова совпадают.

Три остальные упорядочения чисел a, b, c разбирать нет необходимости, поскольку в соотношение (6) числа b и c входят симметрично. Тождество (5) доказано.

Второе утверждение теоремы 2 вытекает из того, что в соответствии с определениями операций над нечеткими множествами Эти два выражения совпадают тогда и только тогда, когда, когда a bc = abc, что и требовалось доказать.

Определение 1. Носителем нечеткого множества А называется совокупность всех точек Следствие теоремы 2. Если носители нечетких множеств В и С совпадают с У, то равенство (6) имеет место тогда и только тогда, когда А - "четкое" (т.е. обычное, классическое, не нечеткое) множество.

Доказательство. По условию µ B ( y ) µ C ( y ) 0 при всех y Y. Тогда из теоремы следует, что µ A ( y ) µ A ( y ) = 0, т.е. µ A ( y ) = 1 или µ A ( y) = 0, что и означает, что А - четкое множество.

Пример описания неопределенности с помощью нечеткого множества. Понятие «богатый» часто используется при обсуждении социально-экономических проблем, в том числе и в связи с подготовкой и принятием решений. Однако очевидно, что разные лица вкладывают в это понятие различное содержание. Сотрудники Института высоких статистических технологий и эконометрики провели в 1996 г. небольше пилотное социологическое исследование представления различных слоёв населения о понятии "богатый человек".

Мини-анкета опроса выглядела так:

1. При каком месячном доходе (в млн. руб. на одного человека) Вы считали бы себя богатым человеком?

2. Оценив свой сегодняшний доход, к какой из категорий Вы себя относите:

б) достаток выше среднего;

в) достаток ниже среднего;

д) за чертой бедности?

(В дальнейшем вместо полного наименования категорий будем оперировать буквами, например "в" - категория, "б" - категория и т.д.) 3. Ваша профессия, специальность.

Всего было опрошено 74 человека, из них 40 - научные работники и преподаватели, человека - не занятых в сфере науки и образования, в том числе 5 рабочих и 5 пенсионеров. Из всех опрошенных только один (!) считает себя богатым. Несколько типичных ответов научных работников и преподавателей приведено в табл.1, а аналогичные сведения для работников коммерческой сферы – в табл.2.

Ответы на вопрос 3 Ответы на вопрос 1, Ответы на Пол Разброс ответов на первый вопрос – от 1 до 100 млн. руб. в месяц на человека.

Результаты опроса показывают, что критерий богатства у финансовых работников в целом несколько выше, чем у научных (см. гистограммы на рис.1 и рис.2 ниже).

Опрос показал, что выявить какое-нибудь конкретное значение суммы, которая необходима "для полного счастья", пусть даже с небольшим разбросом, нельзя, что вполне естественно. Как видно из таблиц 1 и 2, денежный эквивалент богатства колеблется от 1 до 100 миллионов рублей в месяц. Подтвердилось мнение, что работники сферы образования в подавляющем большинстве причисляют свой достаток к категории "в" и ниже (81% опрошенных), в том числе к категории "д" отнесли свой достаток 57%.

Со служащими коммерческих структур и бюджетных организаций иная картина: "г" категория 1 человек (4%), "д" - категория 4 человека (17%), "б" - категория - 46% и 1 человек "а" - категория.

Пенсионеры, что не вызывает удивления, отнесли свой доход к категории "д" ( человека), и лишь один человек указал "г" - категорию. Рабочие же ответили так: 4 человека в", и один человек - "б".

Для представления общей картины в табл.3 приведены данные об ответах работников других профессий.

Прослеживается интересное явление: чем выше планка богатства для человека, тем к более низкой категории относительно этой планки он себя относит.

Для сводки данных естественно использовать гистограммы. Для этого необходимо сгруппировать ответы. Использовались 7 классов (интервалов):

1 – до 5 миллионов рублей в месяц на человека (включительно);

7 – более 30 миллионов.

(Во всех интервалах левая граница исключена, а правая, наоборот – включена.) Сводная информация представлена на рис.1 (для научных работников и преподавателей) и рис.2 (для всех остальных, т.е. для лиц, не занятых в сфере науки и образования - служащих иных бюджетных организаций, коммерческих структур, рабочих, пенсионеров).

Рис.1. Гистограмма ответов на вопрос 1 для научных работников и преподавателей ( человек).

Рис.2. Гистограмма ответов на вопрос 1 для лиц, не занятых в сфере науки и образования (34 человека).

Для двух выделенных групп, а также для некоторых подгрупп второй группы рассчитаны сводные средние характеристики – выборочные средние арифметические, медианы, моды. При этом медиана группы - количество млн. руб., названное центральным по порядковому номеру опрашиваемым в возрастающем ряду ответов на вопрос 1, а мода группы - интервал, на котором столбик гистограммы - самый высокий, т.е. в него "попало" максимальное количество опрашиваемых. Результаты приведены в табл. 4.

образования бюджетных организаций соответствии с представлениями опрошенных. Для этого составим табл.5 на основе рис.1 и рис.2 с учетом размаха ответов на первый вопрос.

1 Интервал, млн. руб. в месяц (0;1) [1;5] (5;10] (10;15] (15;20] 1 Интервал, млн. руб. в месяц (20;25] (25;30] (30;100) [100;+) множеством число ответов Пятая строка табл.5 задает функцию принадлежности нечеткого множества, выражающего понятие "богатый человек" в терминах его ежемесячного дохода. Это нечеткое множество является подмножеством множества из 9 интервалов, заданных в строке 2 табл.5.

Или множества из 9 условных номеров {0, 1, 2, …, 8}. Эмпирическая функция распределения, построенная по выборке из ответов 74 опрошенных на первый вопрос мини-анкеты, описывает понятие "богатый человек" как нечеткое подмножество положительной полуоси.

О разработке методики ценообразования на основе теории нечетких множеств. Для оценки значений показателей, не имеющих количественной оценки, можно использовать методы нечетких множеств. Например, в диссертации П.В. Битюкова [17] нечеткие множества применялись при моделировании задач ценообразования на электронные обучающие курсы, используемые при дистанционном обучении. Им было проведено исследование значений фактора «Уровень качества курса» с использованием нечетких множеств. В ходе практического использования предложенной П.В. Битюковым методики ценообразования значения ряда других факторов могут также определяться с использованием теории нечетких множеств. Например, ее можно использовать для определения прогноза рейтинга специальности в вузе с помощью экспертов, а также значений других факторов, относящихся к группе «Особенности курса». Опишем подход П.В. Битюкова как пример практического использования теории нечетким множеств.

Значение оценки, присваиваемой каждому интервалу для фактора «Уровень качества курса», определяется на универсальной шкале [0,1], где необходимо разместить значения лингвистической переменной «Уровень качества курса»: НИЗКИЙ, СРЕДНИЙ, ВЫСОКИЙ.

Степень принадлежности некоторого значения вычисляется как отношение числа ответов, в которых оно встречалось в определенном интервале шкалы, к максимальному (для этого значения) числу ответов по всем интервалам.

Был проведен опрос экспертов о степени влияния уровня качества электронных курсов на их потребительную ценность. Каждому эксперту в процессе опроса предлагалось оценить с позиции потребителя ценность того или иного класса курсов в зависимости от уровня качества. Эксперты давали свою оценку для каждого класса курсов по 10-ти балльной шкале (где 1 - min, 10 - max). Для перехода к универсальной шкале [0,1], все значения 10-ти балльной шкалы оценки ценности были разделены на максимальную оценку, т.е. на 10.

Используя свойства функции принадлежности, необходимо предварительно обработать данные с тем, чтобы уменьшить искажения, вносимые опросом. Естественными свойствами функций принадлежности являются наличие одного максимума и гладкие, затухающие до нуля фронты. Для обработки статистических данных можно воспользоваться так называемой матрицей подсказок. Предварительно удаляются явно ошибочные элементы. Критерием удаления служит наличие нескольких нулей в строке вокруг этого элемента.

где - элемент таблицы с результатами анкетирования, сгруппированными по интервалам.

Матрица подсказок представляет собой строку, в которой выбирается максимальный элемент:

k max = max k j, и далее все ее элементы преобразуются по формуле:

Для столбцов, где, применяется линейная аппроксимация:

Результаты расчетов сводятся в таблицу, на основании которой строятся функции принадлежности. Для этого находятся максимальные элементы по строкам:

ci max = max cij, i = 1, m, j = 1, n мij = cij / ci max На рис.3 сплошными линиями показаны функции принадлежности значений лингвистической переменной «Уровень качества курса» после обработки таблицы, содержащей результаты опроса. Как видно из графика, функции принадлежности удовлетворяют описанным выше свойствам. Для сравнения пунктирной линией показана функция принадлежности лингвистической переменной для значения НИЗКИЙ без обработки данных.

НИ ЗКИЙ СРЕДНИ Й ВЫСОКИЙ НИ ЗКИЙ *

Рис. 3. График функций принадлежности значений лингвистической переменной «Уровень качества курса»

Как показано выше, исходные статистические данные могут иметь разнообразную математическую природу, являться элементами разнообразных пространств – конечномерных, функциональных, бинарных отношений, множеств, нечетких множеств и т.д. Следовательно, центральной частью прикладной статистики является статистика в пространствах произвольной природы. Эта область прикладной статистики сама по себе не используется при анализе конкретных данных. Это очевидно, поскольку конкретные данные всегда имеют вполне определенную природу. Однако общие подходы, методы, результаты статистики в пространствах произвольной природы представляют собой научный инструментарий, готовый для использования в каждой конкретной области.

Статистика в пространствах произвольной природы. Много ли общего у статистических методов анализа данных различной природы? На этот естественный вопрос можно сразу же однозначно ответить – да, очень много. Такой ответ будет постоянно подтверждаться и конкретизироваться на протяжении всего учебника. Несколько примеров приведем сразу же.

Прежде всего отметим, что понятия случайного события, вероятности, независимости событий и случайных величин являются общими для любых конечных вероятностных пространств и любых конечных областей значений случайных величин (см. главы 1.2 и 2.1).

Поскольку все реальные явления и процессы описываются с помощью математических объектов из конечных множеств, сказанное выше означает, что конечных вероятностных пространств и дискретных случайных величин (точнее, величин, принимающих значения в конечном множестве) достаточно для всех практических применений. Переход к непрерывным моделям реальных явлений и процессов оправдан только тогда, когда этот переход облегчает проведение рассуждений и выкладок. Например, находить определенные интегралы зачастую проще, чем вычислять значения сумм. Не могу не отметить, что приведенные соображения о взаимосоотнесении дискретных и непрерывных математических моделей автор услышал более 30 лет назад от академика А.Н.Колмогорова (ясно, что за конкретную формулировку несет ответственность автор настоящего учебника).

Основные проблемы прикладной статистики – описание данных, оценивание, проверка гипотез – также в своей существенной части могут быть рассмотрены в рамках статистики в пространствах произвольной природы. Например, для описания данных могут быть использованы эмпирические и теоретические средние, плотности вероятностей и их непараметрические оценки, регрессионные зависимости. Правда, для этого пространства произвольной природы должны быть снабжены соответствующим математическим инструментарием – расстояниями (показателями близости, мерами различия) между элементами рассматриваемых пространств.

Популярный в настоящее время метод оценивания параметров распределений – метод максимального правдоподобия – не накладывает каких-либо ограничений на конкретный вид элементов выборки. Они могут лежать в пространстве произвольной природы.

Математические условия касаются только свойств плотностей вероятности и их производных по параметрам. Аналогично положение с методом одношаговых оценок, идущим на смену методу максимального правдоподобия (см. главу 2.2). Асимптотику решений экстремальных статистических задач достаточно изучить для пространств произвольной природы, а затем применять в каждом конкретном случае [18], когда задачу прикладной статистики удается представить в оптимизационном виде. Общая теория проверки статистических гипотез также не требует конкретизации математической природы рассматриваемых элементов выборок. Это относится, например, к лемме Неймана-Пирсона или теории статистических решений. Более того, естественная область построения теории статистик интегрального типа – это пространства произвольной природы (см. главу 2.3).

Совершенно ясно, что в конкретных областях прикладной статистики накоплено большое число результатов, относящимся именно к этим областям. Особенно это касается областей, исследования в которых ведутся сотни лет, в частности, статистики случайных величин (одномерной статистики). Однако принципиально важно указать на «ядро»

прикладной статистики – статистику в пространствах произвольной природы. Если постоянно «держать в уме» это ядро, то становится ясно, что, например, многие методы непараметрической оценки плотности вероятности или кластер-анализа, использующие только расстояния между объектами и элементами выборки, относятся именно к статистике объектов произвольной природы, а не к статистике случайных величин или многомерному статистическому анализу. Следовательно, и применяться они могут во всех областях прикладной статистики, а не только в тех, в которых «родились».

Расстояния (метрики). В пространствах произвольной природы нет операции сложения, поэтому статистические процедуры не могут быть основаны на использовании сумм. Поэтому используется другой математический инструментарий, использующий понятия типа расстояния.

Как известно, расстоянием в пространстве Х называется числовая функция двух переменных d(x,y), x є X, y є X, определенная на этом пространстве, т.е. в стандартных обозначениях d: X2 R1, где R1 – прямая, т.е. множество всех действительных чисел. Эта функция должна удовлетворять трем условиям (иногда их называют аксиомами):

1) неотрицательности: d(x,y) > 0, причем d(x,x) = 0, для любых значений x є X, y є X;

2) симметричности: d(x,y) = d(y,x) для любых x є X, y є X;

3) неравенства треугольника: d(x,y) + d(y,z) > d(x,z) для любых значений x є X, y є X, z є Для термина «расстояние» часто используется синоним – «метрика».

Пример 1. Если d(x,x) = 0 и d(x,y) = 1 при xy для любых значений x є X, y є X, то, как легко проверить, функция d(x,y) – расстояние (метрика). Такое расстояние естественно использовать в пространстве Х значений номинального признака: если два значения (например, названные двумя экспертами) совпадают, то расстояние равно 0, а если различны – то 1.

Пример 2. Расстояние, используемое в геометрии, очевидно, удовлетворяет трем приведенным выше аксиомам. Если Х – это плоскость, а х(1) и х(2) – координаты точки x є X в некоторой прямоугольной системе координат, то эту точку естественно отождествить с двумерным вектором (х(1), х(2)). Тогда расстояние между точками х = (х(1), х(2)) и у = (у(1), у(2)) согласно известной формуле аналитической геометрии равно Пример 3. Евклидовым расстоянием в пространстве Rk векторов вида x = (x(1), x(2), …, x(k)) и y = (y(1), y(2), …, y(k)) размерности k называется В примере 2 рассмотрен частный случай примера 3 с k = 2.

Пример 4. В пространстве Rk векторов размерности k используют также так называемое «блочное расстояние», имеющее вид Блочное расстояние соответствует передвижению по городу, разбитому на кварталы горизонтальными и вертикальными улицами. В результате можно передвигаться только параллельно одной из осей координат.

Пример 5. В пространстве функций, элементами которого являются функции х = x(t), у = y(t), 0< t < 1, часто используют расстояние Колмогорова Пример 6. Пространство функций, элементами которого являются функции х = x(t), у = y(t), 0< t < 1, превращают в метрическое пространство (т.е. в пространство с метрикой), вводя расстояние Это пространство обычно обозначают L, где параметр p>1 (при p< 1 не выполняются аксиомы метрического пространства, в частности, аксиома треугольника).

Пример 7. Рассмотрим пространство квадратных матриц порядка k. Как ввести расстояние между матрицами А = ||a(i,j)|| и B = ||b(i,j)||? Можно сложить расстояния между соответствующими элементами матриц:

Пример 8. Предыдущий пример наводит на мысль о следующем полезном свойстве расстояний. Если на некотором пространстве определены два или больше расстояний, то их сумма – также расстояние.

Пример 9. Пусть А и В – множества. Расстояние между множествами можно определить формулой Здесь м – мера на рассматриваемом пространстве множеств, Д – символ симметрической разности множеств, Если мера – так называемая считающая, т.е. приписывающая единичный вес каждому элементу множества, то введенное расстояние есть число несовпадающих элементов в множествах А и В.

Пример 10. Между множествами можно ввести и другое расстояние:

В ряде задач прикладной статистики используются функции двух переменных, для которых выполнены не все три аксиомы расстояния, а только некоторые. Их обычно называют показателями различия, поскольку чем больше различаются объекты, тем больше значение функции. Иногда в том же смысле используют термин «мера близости». Он менее удачен, поскольку большее значение функции соответствует меньшей близости.

Чаще всего отказываются от аксиомы, требующей выполнения неравенства треугольника, поскольку это требование не всегда находит обоснование в конкретной прикладной ситуации.

Пример 11. В конечномерном векторном пространстве показателем различия является (сравните с примером 3).

Показателями различия, но не расстояниями являются такие популярные в прикладной статистике показатели, как дисперсия или средний квадрат ошибки при оценивании.

Иногда отказываются также и от аксиомы симметричности.

Пример 12. Показателем различия чисел х и у является Такой показатель различия используют в ряде процедур экспертного оценивания.

Что же касается первой аксиомы расстояния, то в различных постановках прикладной статистики ее обычно принимают. Вполне естественно, что наименьший показатель различия должен достигаться, причем именно на совпадающих объектах. Имеет ли смысл это наименьшее значение делать отличным от 0? Вряд ли, поскольку всегда можно добавить одну и ту же константу ко всем значениям показателя различия и тем самым добиться выполнения первой аксиомы.

В прикладной статистике используются самые разные расстояния и показатели различия, о них пойдет речь в соответствующих разделах учебника.

В прикладной статистике используют большое количество метрик и показателей различия (см. примеры в предыдущем пункте). Как обоснованно выбрать то или иное расстояние для использования в конкретной задаче? В 1959 г. американский статистик Джон Кемени предложил использовать аксиоматический подход, согласно которому следует сформулировать естественные для конкретной задачи аксиомы и вывести из них вид метрики.

Этот подход получил большую популярность в нашей стране после выхода в 1972 г. перевода на русский язык книги Дж. Кемени и Дж. Снелла [19], в которой дана система аксиом для расстояния Кемени между упорядочениями. (Упорядочения, как и иные бинарные отношения, естественно представить в виде квадратных матриц из 0 и 1; тогда расстояние Кемени – это расстояние из примера 7 предыдущего пункта.) Последовала большая серия работ, в которых из тех или иных систем аксиом выводился вил метрики или показателя различия для различных видов данных, прежде всего для объектов нечисловой природы. Многие полученные результаты описаны в обзоре [20], содержащем 161 ссылку, в том числе 69 на русском языке. Рассмотрим некоторые из них.

Аксиоматическое введение расстояния между толерантностями. Толерантность это бинарное отношение, являющееся рефлексивным и симметричным. Его обычно используют для описания отношения сходства между реальными объектами, отношений знакомства или дружбы между людьми. От отношения эквивалентности отличается тем, что свойство транзитивности не предполагается обязательно выполненным. Действительно, Иванов может быть знаком с Петровым, Петров – с Сидоровым, но при этом ничего необычного нет в том, что Иванов и Сидоров не знакомы между собой.

Пусть множество Х, на котором определено отношение толерантности, состоит из конечного числа элементов: X = {x1, x2,…, xk}. Тогда толерантность описывается квадратной матрицей A = ||a(i,j)||, i,j = 1, 2,…, k, такой, что a(i,j) = 1, если xi и xj связаны отношением толерантности, и a(i,j) = 0 в противном случае. Матрица A симметрична: a(i,j) = a(j,i), на главной диагонали стоят единицы: a(i,i) = 1. Любая матрица, удовлетворяющая приведенным в предыдущей фразе условиям, является матрицей, соответствующей некоторому отношению толерантности. Матрице А можно сопоставить неориентированный граф с вершинами в точках Х: вершины xi и xj соединены ребром тогда и только тогда, когда a(i,j) = 1. Толерантности используются, в частности, при проведении экспертных исследований (см. пункт 3.4.7 ниже).

Будем говорить, что толерантность А3 лежит между толерантностями А1 и А2, если при всех i, j число a3(i,j) лежит между числами a1(i,j) и a2(i,j), т.е. выполнены либо неравенства a1(i,j) a3(i,j) > a2(i,j).

(I) d(A1, A2) – метрика в пространстве толерантностей, определенных на конечном множестве X = {x1, x2,…, xk};

(II) d(A1, A3) + d(A3, A2) = d(A1, A2) тогда и только тогда, когда A3 лежит между A1 и A2;

(III) если отношения толерантности A1 и A2 отличаются только на одной паре элементов, т.е.

a1(i,j) = a2(i,j) при (i,j) (i0,j0), i 0 такие, что Для доказательства достаточно сослаться на теорему 3. Поскольку в условии (I) требуется, чтобы функция d(A,B) являлась метрикой, то необходимо мij > 0.

Теорема 6. Пусть выполнены условия теоремы 1 и, кроме того, аксиома 1. Тогда верно заключение теоремы 1.

Доказательство. Рассмотрим толерантность А, для которой a(i,j) = 1 при (i,j) = (i0,j0) и a(i,j) = 0 в противном случае. Согласно условию (III) теоремы 1 d (, A) = 1, а согласно (6) имеем d (, A) = µ i0 j0. Следовательно, коэффициент µ i0 j0 = 1, что и требовалось доказать.

Для окончательного доказательства теоремы 1 осталось избавиться от требования справедливости аксиомы 1.

Доказательство теоремы 1. Рассмотрим две толерантности А и В такие, что при представлении их в виде множеств A B. Это означает, что a(i, j) < b(i, j) при всех i, j.

Поскольку Х – конечное множество, то существует конечная последовательность толерантностей A1, A2, …, Am, …, At такая, что А1 = А, At = B, A1 A2 … Am … At, причем Am+1 получается из Am заменой ровно одного значения am(im, jm) = 0 на am+1(im, jm) = 1, для (i, j) (im, jm) при этом am (i, j) = am+1(i, j). Тогда Am находится между Am-1 и Am+1, следовательно, по условию (II) По условию (III) d ( Am, Am +1 ) = 1 при всех m, а потому заключение теоремы 1 верно для любых А и В таких, что A B.

Поскольку АВ лежит между А и В, то по условию (II) При этом АВ А и АВ В. Применяя результат предыдущего абзаца, получаем, заключение теоремы 1 верно всегда.

Замечание 1. Таким образом, условие (III) не только дает нормировку, но и заменяет аксиому 1.

Замечание 2. Условие (I) теоремы 1 не использовалось в доказательстве, но было приведено в первоначальной публикации [24], чтобы подчеркнуть цель рассуждения. По той же причине оно сохранено в формулировке теоремы 1, хотя в доказательстве удалось без него обойтись. Понадобилась только симметричность функции d.

Аксиоматическое введение метрики в пространстве неотрицательных суммируемых функций. Рассмотрим пространство L(E, м) неотрицательных суммируемых функций на множестве E с мерой м. Далее в настоящем пункте будем рассматривать только функции из L(E, м). Интегрирование всюду проводится по пространству Е и по мере м. Будем писать g = h или g < h, если указанные соотношения справедливы почти всюду по м на Е (т.е.

могут нарушаться лишь на множестве нулевой меры).

Аксиоматически введем расстояние в пространстве L(E, м) (изложение следует работе [25]). Обозначим M (g, h) = max (g, h) и m(g, h) = min (g, h). Пусть D: L(E, м) Ч L(E, м) R1 – тот основной объект изучения, аксиомы для которого будут сейчас сформулированы.

Аксиома 2. Если h < g, то D(g, h) = C (g – h) dм, где множитель С не зависит от h, т.е. C = C(g).

Лемма. Из аксиом 1,2 следует, что для h < g Для доказательства заметим, что по аксиоме 1 D(g, 0) =1, а по аксиоме 2 D(g, 0) = С g dм, откуда С = ( g dм)-1. Подставляя это соотношение в аксиому 2, получаем заключение леммы.

Требование согласованности расстояния в пространстве L(E, м) с отношением «находиться между» приводит, как и ранее для расстояния d(A, B), к следующей аксиоме.

Аксиома 3. Для любых g и h справедливо равенство D(g, h) = D(M(g, h), g) + D(M(g, h), h).

Замечание. В ряде реальных ситуаций естественно считать, что наибольшее расстояние между элементами пространства множеств (которое без ограничения общности можно положить равным 1), т.е. наибольшее несходство, соответствует множествам, не имеющим общих элементов. Расстояние, введенное в теореме 3 (формула (1)), этому условию не удовлетворяет. Поэтому в пространстве множеств была аксиоматически введена [20] так называемая D-метрика (от dissimilarity (англ.) – несходство), для которого это условие выполнено. Она имеет вид:

Приведенные выше аксиомы являются обобщениями соответствующих аксиом для D-метрики в пространстве множеств.

Теорема 7. Из аксиом 1-3 следует, что Доказательство. Поскольку то заключение теоремы 7 при g + h 0 вытекает из леммы и аксиомы 3. Из аксиомы 2 при g = следует, что D(0, 0) = 0. Легко видеть, что функция D, заданная формулой (8), удовлетворяет аксиомам 1-3 и, кроме того, D(g, h) < 1 при любых g и h.

Замечание. Если g и h – индикаторные функции множеств, то формула (8) переходит в формулу (7). Если g и h – функции принадлежности нечетких множеств, то формула (8) задает метрику в пространстве нечетких множеств, а именно, D-метрику в этом пространстве [20].

Теорема 8. Функция D(g,h), определенная формулой (8), является метрикой в L(E, м) (при отождествлении функций, отличающихся лишь на множестве нулевой меры), причем D(g, f) + D(f, h) = D(g, h) тогда и только тогда, когда f = g, f = h или f = M(g, h).

Доказательство. Обратимся к определению метрики. Для рассматриваемой функции непосредственно очевидна справедливость условий неотрицательности и симметричности.

Очевидна и эквивалентность условия D(g, h) = 0 равенству g = h. Остается доказать неравенство треугольника и установить, когда оно обращается в равенство.

Без ограничения общности можно считать, что рассматриваемые расстояния задаются верхней строкой формулы (8) и, кроме того, (частные случаи с использованием нижней строки формулы (8) рассматриваются элементарно, а справедливости последнего неравенства можно добиться заменой обозначений функций – элементов пространства L(E, м)). Тогда причем равенство имеет место тогда и только тогда, когда R = 0 или f = h. Положим Ясно, что P > 0 и Если Q < 0, то, очевидно, неравенство треугольника выполнено, причем неравенство является строгим. Рассмотрим случай Q > 0.

Воспользуемся следующим элементарным фактом: если y > x, y > 0, P >Q > 0, то Из соотношений (10) и (11) вытекает, что для доказательства неравенства треугольника достаточно показать, что P – Q > 0.

Применяя равенство (M(g, h) - g) + (M(g, h) – h) = |g – h| к слагаемым, заключенным в фигурные скобки, получаем, что Применяя соотношение К слагаемым, заключенным в квадратные скобки, получаем, что Так как M(f, h) – m(f, h) = |f – h|, то В соответствии с (12) правая часть (13) есть M(g, f) – M(g, h), а потому что завершает доказательство для случая Q > 0. При этом неравенство треугольника является строгим.

Осталось рассмотреть случай Q = 0. В силу соотношений (9) и (10) неравенство треугольника выполнено. Когда оно обращается в равенство? Тривиальные случаи: f = g или f = h. Если же f отлично от g и h, то необходимо, чтобы R = 0 и P = 0. Как легко проверить, последнее условие эквивалентно неравенствам Из правого неравенства в (14) следует, что M(g, f) < M(g, M(g, h)) = M(g, h). Так как Q = 0, то M(g, f) = M(g, h). Аналогичным образом из соотношений и R = 0 следует, что M(f, h) = M(g, h).

Рассмотрим измеримое множество X = {x є E: h(x) < g(x)}. Тогда M(g, h) (x) = M(f, h) (x) = g(x) > h(x), т.е. h(x) < f(x) = M(g, h) (x) для почти всех x є X. Для почти всех y є {x є E: h(x) > g(x)} точно так же получаем f(y) = M(g, h) (y). Для почти всех z є {x є E: h(x) = g(x)} в силу (14) f(z) = M(g, h) (z), что и завершает доказательство теоремы.

Замечание. Назовем функции g и h подобными, если существует число b > 0 такое, что g = bh. Тогда при 0 < b < 1 имеем D(g, h) = 1 – b, т.е. расстояние между подобными функциями линейно зависит от коэффициента подобия. Далее, пусть a > 0, тогда D(ag, ah) = D(g, h). Таким образом, метрика (8) инвариантна по отношению к преобразованиям подобия, которые образуют группу допустимых преобразований в шкале отношений. Это дает основания именовать метрику (8) метрикой подобия [25].

1. Суппес П., Зинес Дж. Основы теории измерений. - В сб.: Психологические измерения. - М.:

Мир, 1967. - С. 9-110.

2. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

3. Носовский Г.В., Фоменко А.Т. Империя. Русь, Турция, Китай, Европа, Египет. Новая математическая хронология древности. - М.: Изд-во "Факториал", 1996. - 752 с.

4. Шубкин В.П. Социологические опыты. - М.: Мысль,1970.-256 с.

5. Щукина Г.И. Проблема познавательного интереса в педагогике. - М.: Педагогика, 1971.- 6. Орлов А.И. Статистика объектов нечисловой природы (Обзор). – Журнал «Заводская лаборатория». 1990. Т.56. No.3. С.76-83.

7. Орлов А.И. Объекты нечисловой природы. – Журнал «Заводская лаборатория». 1995. Т.61.

No.3. С.43-52.

8. Кендэл М. Ранговые корреляции. - М.: Статистика, 1975. - 216 с.

9. Беляев Ю.К. Вероятностные методы выборочного контроля. - М.: Наука, 1975. - 408 с.

10. Лумельский Я.П. Статистические оценки результатов контроля качества. - М.: Изд-во стандартов, 1979. - 200 с.

11. Дэвид Г. Метод парных сравнений. - М.: Статистика, 1978.- 144 с.

12. Организация и планирование машиностроительного производства (производственный менеджмент): Учебник / К.А.Грачева, М.К.Захарова, Л.А.Одинцова и др. Под ред.

Ю.В.Скворцова, Л.А.Некрасова. – М.: Высшая школа, 2003. – 470 с.

13. Кендалл М.Дж., Стъюарт А., Статистические выводы и связи. М.: Наука, 1973. - 900 с.

14. Себер Дж. Линейный регрессионный анализ. - М.: Мир, 1980. - 456 с.

15. Борель Э. Вероятность и достоверность. - М.: ГИФМЛ, 1961. - 120 с.

16. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64с.

17. Битюков П.В. Моделирование задач ценообразования на электронные обучающие курсы в области дистанционного обучения / Автореферат диссертации на соискание ученой степени кандидата экономических наук. – М.: Московский государственный университет экономики, статистики и информатики, 2002. – 24 с.

18. Орлов А.И. Асимптотика решений экстремальных статистических задач. – В сб.: Анализ нечисловых данных в системных исследованиях. Сборник трудов. Вып.10. - М.: Всесоюзный научно-исследовательский институт системных исследований, 1982. С. 4-12.

19. Кемени Дж., Снелл Дж. Кибернетическое моделирование. Некоторые приложения. – М.:

Советское радио, 1972. – 192 с.

20. Раушенбах Г.В. Меры близости и сходства // Анализ нечисловой информации в социологических исследованиях. – М.; Наука, 1986. – С.169-203.

21. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. – М.: Наука, 1972. – 496 с.

22. Окстоби Дж. Мера и категория. – М.: Мир, 1974. – 158 с.

23. Льюс Р., Галантер Е. Психофизические шкалы // Психологические измерения. – М.: Мир, 1967. – С.111-195.

24. Орлов А.И. Связь между нечеткими и случайными множествами: Нечеткие толерантности // Исследования по вероятностно-статистическому моделированию реальных систем. – М.:

ЦЭМИ АН СССР, 1977. – С.140-148.

25. Орлов А.И., Раушенбах Г.В. Метрика подобия: аксиоматическое введение, асимптотическая нормальность // Статистические методы оценивания и проверки гипотез.

Межвузовский сборник научных трудов. - Пермь: Изд-во Пермского государственного университета, 1986, с.148-157.

1. Приведите примеры практического использования количественных и категоризованных данных.

2. Как соотносятся группы допустимых преобразований для различных шкал измерения?

3. Почему анализ нечисловых данных занимает одно из центральных мест в прикладной статистике?

4. В каких случаях целесообразно применение нечетких множеств?

5. Справедливо ли для нечетких множеств равенство (A+B)C = AC + BC? А равенство (AB)C = (AC)(BC)?

6. Докажите, что для блочного расстояния (пример 4 из пункта 1.1.5) справедливо неравенство треугольника.

7. Расскажите о многообразии расстояний в различных пространствах статистических данных.

8. Докажите, что если d(x, y) – расстояние в некотором пространстве, то d ( x, y ) - также расстояние в этом пространстве.

Темы докладов, рефератов, исследовательских работ 1. Содержание первого сочинения по прикладной статистике - книге «Числа» в Библии.

2. Свойства основных шкал измерения.

3. Взаимосвязи различных классов объектов нечисловой природы между собой.

4. Опишите с помощью нечеткого подмножества временной шкалы понятие «молодой человек» (на основе опроса 10-20 экспертов).

5. Опишите с помощью теории нечеткости понятие «куча зерен» (на основе опроса 10- экспертов).

6. Центральная роль статистики объектов произвольной природы в прикладной статистике.

7. Расстояния в пространствах функций.

8. Докажите, что аксиоматически введенный в п.1.1.6 показатель различия между множествами d(A, B) = м(АДВ) удовлетворяет неравенству треугольника.

1.2. Основы вероятностно-статистических методов описания неопределенностей в 1.2.1. Теория вероятностей и математическая статистика – научные основы прикладной Как используются теория вероятностей и математическая статистика? Эти дисциплины – основа вероятностно-статистических методов принятия решений. Чтобы воспользоваться их математическим аппаратом, необходимо задачи принятия решений выразить в терминах вероятностно-статистических моделей. Применение конкретного вероятностностатистического метода принятия решений состоит из трех этапов:

- переход от экономической, управленческой, технологической реальности к абстрактной математико-статистической схеме, т.е. построение вероятностной модели системы управления, технологического процесса, процедуры принятия решений, в частности по результатам статистического контроля, и т.п.

- проведение расчетов и получение выводов чисто математическими средствами в рамках вероятностной модели;

- интерпретация математико-статистических выводов применительно к реальной ситуации и принятие соответствующего решения (например, о соответствии или несоответствии качества продукции установленным требованиям, необходимости наладки технологического процесса и т.п.), в частности, заключения (о доле дефектных единиц продукции в партии, о конкретном виде законов распределения контролируемых параметров технологического процесса и др.).

Математическая статистика использует понятия, методы и результаты теории вероятностей. Рассмотрим основные вопросы построения вероятностных моделей принятия решений в экономических, управленческих, технологических и иных ситуациях. Для активного и правильного использования нормативно-технических и инструктивно-методических документов по вероятностно-статистическим методам принятия решений нужны предварительные знания. Так, необходимо знать, при каких условиях следует применять тот или иной документ, какую исходную информацию необходимо иметь для его выбора и применения, какие решения должны быть приняты по результатам обработки данных и т.д.

Примеры применения теории вероятностей и математической статистики.

Рассмотрим несколько примеров, когда вероятностно-статистические модели являются хорошим инструментом для решения управленческих, производственных, экономических, народнохозяйственных задач. Так, например, в романе А.Н.Толстого «Хождение по мукам» (т.1) говорится: «мастерская дает двадцать три процента брака, этой цифры вы и держитесь, - сказал Струков Ивану Ильичу».

Встает вопрос, как понимать эти слова в разговоре заводских менеджеров, поскольку одна единица продукции не может быть дефектна на 23%. Она может быть либо годной, либо дефектной. Наверно, Струков имел в виду, что в партии большого объема содержится примерно 23% дефектных единиц продукции. Тогда возникает вопрос, а что значит «примерно»? Пусть из 100 проверенных единиц продукции 30 окажутся дефектными, или из 1000 – 300, или из – 30000 и т.д., надо ли обвинять Струкова во лжи?

Или другой пример. Монетка, которую используют как жребий, должна быть «симметричной», т.е. при ее бросании в среднем в половине случаев должен выпадать герб, а в половине случаев – решетка (решка, цифра). Но что означает «в среднем»? Если провести много серий по 10 бросаний в каждой серии, то часто будут встречаться серии, в которых монетка раза выпадает гербом. Для симметричной монеты это будет происходить в 20,5% серий. А если на 100000 бросаний окажется 40000 гербов, то можно ли считать монету симметричной?

Процедура принятия решений строится на основе теории вероятностей и математической статистики.

Рассматриваемый пример может показаться недостаточно серьезным. Однако это не так.

Жеребьевка широко используется при организации промышленных технико-экономических экспериментов, например, при обработке результатов измерения показателя качества (момента трения) подшипников в зависимости от различных технологических факторов (влияния консервационной среды, методов подготовки подшипников перед измерением, влияния нагрузки подшипников в процессе измерения и т.п.). Допустим, необходимо сравнить качество подшипников в зависимости от результатов хранения их в разных консервационных маслах, т.е.

в маслах состава А и В. При планировании такого эксперимента возникает вопрос, какие подшипники следует поместить в масло состава А, а какие – в масло состава В, но так, чтобы избежать субъективизма и обеспечить объективность принимаемого решения.

Ответ на этот вопрос может быть получен с помощью жребия. Аналогичный пример можно привести и с контролем качества любой продукции. Чтобы решить, соответствует или не соответствует контролируемая партия продукции установленным требованиям, из нее отбирается выборка. По результатам контроля выборки делается заключение о всей партии. В этом случае очень важно избежать субъективизма при формировании выборки, т.е необходимо, чтобы каждая единица продукции в контролируемой партии имела одинаковую вероятность быть отобранной в выборку. В производственных условиях отбор единиц продукции в выборку обычно осуществляют не с помощью жребия, а по специальным таблицам случайных чисел или с помощью компьютерных датчиков случайных чисел.

Аналогичные проблемы обеспечения объективности сравнения возникают при сопоставлении различных схем организации производства, оплаты труда, при проведении тендеров и конкурсов, подбора кандидатов на вакантные должности и т.п. Всюду нужна жеребьевка или подобные ей процедуры. Поясним на примере выявления наиболее сильной и второй по силе команды при организации турнира по олимпийской системе (проигравший выбывает). Пусть всегда более сильная команда побеждает более слабую. Ясно, что самая сильная команда однозначно станет чемпионом. Вторая по силе команда выйдет в финал тогда и только тогда, когда до финала у нее не будет игр с будущим чемпионом. Если такая игра будет запланирована, то вторая по силе команда в финал не попадет. Тот, кто планирует турнир, может либо досрочно «выбить» вторую по силе команду из турнира, сведя ее в первой же встрече с лидером, либо обеспечить ей второе место, обеспечив встречи с более слабыми командами вплоть до финала. Чтобы избежать субъективизма, проводят жеребьевку. Для турнира из 8 команд вероятность того, что в финале встретятся две самые сильные команды, равна 4/7. Соответственно с вероятностью 3/7 вторая по силе команда покинет турнир досрочно.

При любом измерении единиц продукции (с помощью штангенциркуля, микрометра, амперметра и т.п.) имеются погрешности. Чтобы выяснить, есть ли систематические погрешности, необходимо сделать многократные измерения единицы продукции, характеристики которой известны (например, стандартного образца). При этом следует помнить, что кроме систематической погрешности присутствует и случайная погрешность.

Поэтому встает вопрос, как по результатам измерений узнать, есть л систематическая погрешность. Если отмечать только, является ли полученная при очередном измерении погрешность положительной или отрицательной, то эту задачу можно свести к предыдущей.

Действительно, сопоставим измерение с бросанием монеты, положительную погрешность – с выпадением герба, отрицательную – решетки (нулевая погрешность при достаточном числе делений шкалы практически никогда не встречается). Тогда проверка отсутствия систематической погрешности эквивалентна проверке симметричности монеты.

Целью этих рассуждений является сведение задачи проверки отсутствия систематической погрешности к задаче проверки симметричности монеты. Проведенные рассуждения приводят к так называемому «критерию знаков» в математической статистике.

При статистическом регулировании технологических процессов на основе методов математической статистики разрабатываются правила и планы статистического контроля процессов, направленные на своевременное обнаружение разладки технологических процессов и принятия мер к их наладке и предотвращению выпуска продукции, не соответствующей установленным требованиям. Эти меры нацелены на сокращение издержек производства и потерь от поставки некачественных единиц продукции. При статистическом приемочном контроле на основе методов математической статистики разрабатываются планы контроля качества путем анализа выборок из партий продукции. Сложность заключается в том, чтобы уметь правильно строить вероятностно-статистические модели принятия решений, на основе которых можно ответить на поставленные выше вопросы. В математической статистике для этого разработаны вероятностные модели и методы проверки гипотез, в частности, гипотез о том, что доля дефектных единиц продукции равна определенному числу р0, например, р0 = 0, (вспомните слова Струкова из романа А.Н.Толстого).

Задачи оценивания. В ряде управленческих, производственных, экономических, народнохозяйственных ситуаций возникают задачи другого типа – задачи оценки характеристик и параметров распределений вероятностей.

Рассмотрим пример. Пусть на контроль поступила партия из N электроламп. Из этой партии случайным образом отобрана выборка объемом n электроламп. Возникает ряд естественных вопросов. Как по результатам испытаний элементов выборки определить средний срок службы электроламп и с какой точностью можно оценить эту характеристику? Как изменится точность, если взять выборку большего объема? При каком числе часов Т можно гарантировать, что не менее 90% электроламп прослужат Т и более часов?

Предположим, что при испытании выборки объемом n электроламп дефектными оказались Х электроламп. Тогда возникают следующие вопросы. Какие границы можно указать для числа D дефектных электроламп в партии, для уровня дефектности D/N и т.п.?

Или при статистическом анализе точности и стабильности технологических процессов надлежит оценить такие показатели качества, как среднее значение контролируемого параметра и степень его разброса в рассматриваемом процессе. Согласно теории вероятностей в качестве среднего значения случайной величины целесообразно использовать ее математическое ожидание, а в качестве статистической характеристики разброса – дисперсию, среднее квадратическое отклонение или коэффициент вариации. Отсюда возникает вопрос: как оценить эти статистические характеристики по выборочным данным и с какой точностью это удается сделать? Аналогичных примеров можно привести очень много. Здесь важно было показать, как теория вероятностей и математическая статистика могут быть использованы в производственном менеджменте при принятии решений в области статистического управления качеством продукции.

Что такое «математическая статистика»? Под математической статистикой понимают «раздел математики, посвященный математическим методам сбора, систематизации, обработки и интерпретации статистических данных, а также использование их для научных или практических выводов. Правила и процедуры математической статистики опираются на теорию вероятностей, позволяющую оценить точность и надежность выводов, получаемых в каждой задаче на основании имеющегося статистического материала» [1, с.326]. При этом статистическими данными называются сведения о числе объектов в какой-либо более или менее обширной совокупности, обладающих теми или иными признаками.

По типу решаемых задач математическая статистика обычно делится на три раздела:

описание данных, оценивание и проверка гипотез.

По виду обрабатываемых статистических данных математическая статистика делится на четыре направления:

- одномерная статистика (статистика случайных величин), в которой результат наблюдения описывается действительным числом;

- многомерный статистический анализ, где результат наблюдения над объектом описывается несколькими числами (вектором);

- статистика случайных процессов и временных рядов, где результат наблюдения – функция;

- статистика объектов нечисловой природы, в которой результат наблюдения имеет нечисловую природу, например, является множеством (геометрической фигурой), упорядочением или получен в результате измерения по качественному признаку.

Исторически первой появились некоторые области статистики объектов нечисловой природы (в частности, задачи оценивания доли брака и проверки гипотез о ней) и одномерная статистика. Математический аппарат для них проще, поэтому на их примере обычно демонстрируют основные идеи математической статистики.

Лишь те методы обработки данных, т.е. математической статистики, являются доказательными, которые опираются на вероятностные модели соответствующих реальных явлений и процессов. Речь идет о моделях поведения потребителей, возникновения рисков, функционирования технологического оборудования, получения результатов эксперимента, течения заболевания и т.п. Вероятностную модель реального явления следует считать построенной, если рассматриваемые величины и связи между ними выражены в терминах теории вероятностей. Соответствие вероятностной модели реальности, т.е. ее адекватность, обосновывают, в частности, с помощью статистических методов проверки гипотез.

Невероятностные методы обработки данных являются поисковыми, их можно использовать лишь при предварительном анализе данных, так как они не дают возможности оценить точность и надежность выводов, полученных на основании ограниченного статистического материала.

Вероятностные и статистические методы применимы всюду, где удается построить и обосновать вероятностную модель явления или процесса. Их применение обязательно, когда сделанные на основе выборочных данных выводы переносятся на всю совокупность (например, с выборки на всю партию продукции).

В конкретных областях применений используются как вероятностно-статистические методы широкого применения, так и специфические. Например, в разделе производственного менеджмента, посвященного статистическим методам управления качеством продукции, используют прикладную математическую статистику (включая планирование экспериментов). С помощью ее методов проводится статистический анализ точности и стабильности технологических процессов и статистическая оценка качества. К специфическим методам относятся методы статистического приемочного контроля качества продукции, статистического регулирования технологических процессов, оценки и контроля надежности и др.

Широко применяются такие прикладные вероятностно-статистические дисциплины, как теория надежности и теория массового обслуживания. Содержание первой из них ясно из названия, вторая занимается изучением систем типа телефонной станции, на которую в случайные моменты времени поступают вызовы - требования абонентов, набирающих номера на своих телефонных аппаратах. Длительность обслуживания этих требований, т.е.

длительность разговоров, также моделируется случайными величинами. Большой вклад в развитие этих дисциплин внесли член-корреспондент АН СССР А.Я. Хинчин (1894-1959), академик АН УССР Б.В.Гнеденко (1912-1995) и другие отечественные ученые.

Коротко об истории математической статистики. Математическая статистика как наука начинается с работ знаменитого немецкого математика Карла Фридриха Гаусса (1777который на основе теории вероятностей исследовал и обосновал метод наименьших квадратов, созданный им в 1795 г. и примененный для обработки астрономических данных (с целью уточнения орбиты малой планеты Церера). Его именем часто называют одно из наиболее популярных распределений вероятностей – нормальное, а в теории случайных процессов основной объект изучения – гауссовские процессы.

В конце XIX в. – начале ХХ в. крупный вклад в математическую статистику внесли английские исследователи, прежде всего К.Пирсон (1857-1936) и Р.А.Фишер (1890-1962). В частности, Пирсон разработал критерий «хи-квадрат» проверки статистических гипотез, а Фишер – дисперсионный анализ, теорию планирования эксперимента, метод максимального правдоподобия оценки параметров.

В 30-е годы ХХ в. поляк Ежи Нейман (1894-1977) и англичанин Э.Пирсон развили общую теорию проверки статистических гипотез, а советские математики академик А.Н.

Колмогоров (1903-1987) и член-корреспондент АН СССР Н.В.Смирнов (1900-1966) заложили основы непараметрической статистики. В сороковые годы ХХ в. румын А. Вальд (1902-1950) построил теорию последовательного статистического анализа.

Математическая статистика бурно развивается и в настоящее время. Так, за последние лет можно выделить четыре принципиально новых направления исследований [2]:

- разработка и внедрение математических методов планирования экспериментов;

- развитие статистики объектов нечисловой природы как самостоятельного направления в прикладной математической статистике;

- развитие статистических методов, устойчивых по отношению к малым отклонениям от используемой вероятностной модели;

- широкое развертывание работ по созданию компьютерных пакетов программ, предназначенных для проведения статистического анализа данных.

Вероятностно-статистические методы и оптимизация. Идея оптимизации пронизывает современную прикладную математическую статистику и иные статистические методы. А именно, методы планирования экспериментов, статистического приемочного контроля, статистического регулирования технологических процессов и др. С другой стороны, оптимизационные постановки в теории принятия решений, например, прикладная теория оптимизации качества продукции и требований стандартов, предусматривают широкое использование вероятностно-статистических методов, прежде всего прикладной математической статистики.

В производственном менеджменте, в частности, при оптимизации качества продукции и требований стандартов особенно важно применять статистические методы на начальном этапе жизненного цикла продукции, т.е. на этапе научно-исследовательской подготовки опытноконструкторских разработок (разработка перспективных требований к продукции, аванпроекта, технического задания на опытно-конструкторскую разработку). Это объясняется ограниченностью информации, доступной на начальном этапе жизненного цикла продукции, и необходимостью прогнозирования технических возможностей и экономической ситуации на будущее. Статистические методы должны применяться на всех этапах решения задачи оптимизации – при шкалировании переменных, разработке математических моделей функционирования изделий и систем, проведении технических и экономических экспериментов и т.д.

В задачах оптимизации, в том числе оптимизации качества продукции и требований стандартов, используют все области статистики. А именно, статистику случайных величин, многомерный статистический анализ, статистику случайных процессов и временных рядов, статистику объектов нечисловой природы. Выбор статистического метода для анализа конкретных данных целесообразно проводить согласно рекомендациям [3].

Этот раздел содержит полные доказательства всех рассматриваемых утверждений.

События и вероятности. Исходное понятие при построении вероятностных моделей в задачах принятия решений – опыт (испытание). Примерами опытов являются проверка качества единицы продукции, бросание трех монет независимо друг от друга и т.д.

Первый шаг при построении вероятностной модели реального явления или процесса – выделение возможных исходов опыта. Их называют элементарными событиями. Обычно считают, что в первом опыте возможны два исхода – «единица продукции годная» и «единица продукции дефектная». Естественно принять, что при бросании монеты осуществляется одно из двух элементарных событий – «выпала решетка (цифра)» и «выпал герб». Таким образом, случаи «монета встала на ребро» или «монету не удалось найти» считаем невозможными.

При бросании трех монет элементарных событий значительно больше. Вот одно из них – «первая монета выпала гербом, вторая – решеткой, третья – снова гербом». Перечислим все элементарные события в этом опыте. Для этого обозначим выпадение герба буквой Г, а решетки – буквой Р. Имеется 23=8 элементарных событий: ГГГ, ГГР, ГРГ, ГРР, РГГ, РГР, РРГ, РРР – в каждой тройке символов первый показывает результат бросания первой модели, второй – второй монеты, третий – третьей монеты.

Совокупность всех возможных исходов опыта, т.е. всех элементарных событий, называется пространством элементарных событий. Вначале мы ограничимся пространством элементарных событий, состоящим из конечного числа элементов.

С математической точки зрения пространство (совокупность) всех элементарных событий, возможных в опыте – это некоторое множество, а элементарные события – его элементы. Однако в теории вероятностей для обозначения используемых понятий по традиции используются свои термины, отличающиеся от терминов теории множеств. В табл. установлено соответствие между терминологическими рядами этих двух математических дисциплин.

Соответствие терминов теории вероятностей и теории множеств Пространство элементарных событий Множество Невозможное событие Как сложились два параллельных терминологических ряда? Основные понятия теории вероятностей и ее терминология сформировались в XVII-XVIII вв. Теория множеств возникла в конце XIX в. независимо от теории вероятностей и получила распространение в ХХ в.

Принятый в настоящее время аксиоматический подход к теории вероятностей, разработанный академиком АН СССР А.Н. Колмогоровым (1903-1987), дал возможность развивать эту дисциплину на базе теории множеств и теории меры. Этот подход позволил рассматривать теорию вероятностей и математическую статистику как часть математики, проводить рассуждения на математическом уровне строгости. В частности, было введено четкое различие между частотой и вероятностью, случайная величина стала рассматриваться как функция от элементарного исхода, и т.д. За основу методов статистического анализа данных стало возможным брать вероятностно-статистические модели, сформулированные в математических терминах. В результате удалось четко отделить строгие утверждения от обсуждения философских вопросов случайности, преодолеть подход на основе понятия равновозможности, имеющий ограниченное практическое значение. Наиболее существенно, что после работ А.Н.Колмогорова нет необходимости связывать вероятности тех или иных событий с пределами частот. Так называемые «субъективные вероятности» получили смысл экспертных оценок вероятностей.

После выхода (в 1933 г. на немецком языке и в 1936 г. – на русском) основополагающей монографии [4] аксиоматический подход к теории вероятностей стал общепринятым в научных исследованиях в этой области. Во многом перестроилось преподавание. Повысился научный уровень многих прикладных работ. Однако традиционный подход оказался живучим.

Распространены устаревшие и во многом неверные представления о теории вероятностей и математической статистике. Поэтому в настоящей главе рассматриваем основные понятия, подходы, идеи, методы и результаты в этих областях, необходимые для их квалифицированного применения в задачах принятия решений.

В послевоенные годы А.Н.Колмогоров формализовал понятие случайности на основе теории информации [5]. Грубо говоря, числовая последовательность является случайной, если ее нельзя заметно сжать без потери информации. Однако этот подход не был предназначен для использования в прикладных работах и преподавании. Он представляет собой важное методологическое и теоретическое продвижение.

Перейдем к основному понятию теории вероятностей – понятию вероятности события. В методологических терминах можно сказать, что вероятность события является мерой возможности осуществления события. В ряде случаев естественно считать, что вероятность события А – это число, к которому приближается отношение количества осуществлений события А к общему числу всех опытов (т.е. частота осуществления события А) – при увеличении числа опытов, проводящихся независимо друг от друга. Иногда можно предсказать это число из соображений равновозможности. Так, при бросании симметричной монеты и герб, и решетка имеют одинаковые шансы оказаться сверху, а именно, 1 шанс из 2, а потому вероятности выпадения герба и решетки равны 1/2.

Однако этих соображений недостаточно для развития теории. Методологическое определение не дает численных значений. Не все вероятности можно оценивать как пределы частот, и неясно, сколько опытов надо брать. На основе идеи равновозможности можно решить ряд задач, но в большинстве практических ситуаций применить ее нельзя. Например, для оценки вероятности дефектности единицы продукции. Поэтому перейдем к определениям в рамках аксиоматического подхода на базе математической модели, предложенной А.Н.Колмогоровым (1933).

Определение 1. Пусть конечное множество = { } является пространством элементарных событий, соответствующим некоторому опыту. Пусть каждому поставлено в соответствие неотрицательное число P( ), называемое вероятностью элементарного события, причем сумма вероятностей всех элементарных событий равна 1, т.е.

Тогда пара {, P}, состоящая из конечного множества и неотрицательной функции Р, определенной на и удовлетворяющей условию (1), называется вероятностным пространством. Вероятность события А равна сумме вероятностей элементарных событий, входящих в А, т.е. определяется равенством Сконструирован математический объект, основной при построении вероятностных моделей. Рассмотрим примеры.

Пример 1. Бросанию монеты соответствует вероятностное пространство с = {Г, Р} и Р(Г) = Р(Р) = Ѕ; здесь обозначено: Г – выпал герб, Р – выпала решетка.

Пример 2. Проверке качества одной единицы продукции (в ситуации, описанной в романе А.Н.Толстого «Хождение по мукам» - см. выше) соответствует вероятностное пространство с = {Б, Г} и Р(Б) = 0,23, Р(Г) = 0,77; здесь обозначено: Б - дефектная единица продукции, Г – годная единица продукции; значение вероятности 0,23 взято из слов Струкова.

Отметим, что приведенное выше определение вероятности Р(А) согласуется с интуитивным представлением о связи вероятностей события и входящих в него элементарных событий, а также с распространенным мнением, согласно которому «вероятность события А – число от 0 до 1, которое представляет собой предел частоты реализации события А при неограниченном числе повторений одного и того же комплекса условий».

Из определения вероятности события, свойств символа суммирования и равенства (1) вытекает, что Для несовместных событий А и В согласно формуле (3) Р(А+В) = Р(А)+Р(В). Последнее утверждение называют также теоремой сложения вероятностей.

При практическом применении вероятностно-статистических методов принятия решений постоянно используется понятие независимости. Например, при применении статистических методов управления качеством продукции говорят о независимых измерениях значений контролируемых параметров у включенных в выборку единиц продукции, о независимости появления дефектов одного вида от появления дефектов другого вида, и т.д. Независимость случайных событий понимается в вероятностных моделях в следующем смысле.

Определение 2. События А и В называются независимыми, если Р(АВ) = Р(А) Р(В).

Несколько событий А, В, С,… называются независимыми, если вероятность их совместного осуществления равна произведению вероятностей осуществления каждого из них в отдельности:

Р(АВС…) = Р(А)Р(В)Р(С)… Это определение соответствует интуитивному представлению о независимости:

осуществление или неосуществление одного события не должно влиять на осуществление или неосуществление другого. Иногда соотношение Р(АВ) = Р(А) Р(В|A) = P(B)P(A|B), справедливое при P(A)P(B) > 0, называют также теоремой умножения вероятностей.

Утверждение 1. Пусть события А и В независимы. Тогда события А и В независимы, события А и В независимы, события А и В независимы (здесь А - событие, противоположное А, и В - событие, противоположное В).

Действительно, из свойства в) в (3) следует, что для событий С и D, произведение которых пусто, P(C+D) = P(C) + P(D). Поскольку пересечение АВ и А В пусто, а объединение есть В, то Р(АВ) + Р( А В) = Р(В). Так как А и В независимы, то Р( А В) = Р(В) - Р(АВ) = Р(В) Р(А)Р(В) = Р(В)(1 - Р(А)). Заметим теперь, что из соотношений (1) и (2) следует, что Р( А ) = 1 – Р(А). Значит, Р( А В) = Р( А )Р(В).

Вывод равенства Р(А В ) = Р(А)Р( В ) отличается от предыдущего лишь заменой всюду А на В, а В на А.

Для доказательства независимости А и В воспользуемся тем, что события АВ, А В, А В, А В не имеют попарно общих элементов, а в сумме составляют все пространство элементарных событий. Следовательно, Р(АВ) + Р( А В) + Р(А В ) + Р( А В ) = 1. Воспользовавшись ранее доказанными соотношениями, получаем, что Р( А В)= 1 - Р(АВ) - Р(В)(1 - Р(А)) - Р(А)(1 - Р(В))= (1 – Р(А))(1 – Р(В)) = Р( А )Р( В ), что и требовалось доказать.

Пример 3. Рассмотрим опыт, состоящий в бросании игрального кубика, на гранях которого написаны числа 1, 2, 3, 4, 5,6. Считаем, что все грани имеют одинаковые шансы оказаться наверху. Построим соответствующее вероятностное пространство. Покажем, что события «наверху – грань с четным номером» и «наверху – грань с числом, делящимся на 3»

являются независимыми.

Разбор примера. Пространство элементарных исходов состоит из 6 элементов: «наверху – грань с 1», «наверху – грань с 2»,…, «наверху – грань с 6». Событие «наверху – грань с четным номером» состоит из трех элементарных событий – когда наверху оказывается 2, 4 или 6.

Событие «наверху – грань с числом, делящимся на 3» состоит из двух элементарных событий – когда наверху оказывается 3 или 6. Поскольку все грани имеют одинаковые шансы оказаться наверху, то все элементарные события должны иметь одинаковую вероятность. Поскольку всего имеется 6 элементарных событий, то каждое из них имеет вероятность 1/6. По определению 1событие «наверху – грань с четным номером» имеет вероятность Ѕ, а событие «наверху – грань с числом, делящимся на 3» - вероятность 1/3. Произведение этих событий состоит из одного элементарного события «наверху – грань с 6», а потому имеет вероятность 1/6.

Поскольку 1/6 = Ѕ х 1/3, то рассматриваемые события являются независимыми в соответствии с определением независимости.

В вероятностных моделях процедур принятия решений с помощью понятия независимости событий можно придать точный смысл понятию «независимые испытания». Для этого рассмотрим сложный опыт, состоящий в проведении двух испытаний. Эти испытания называются независимыми, если любые два события А и В, из которых А определяется по исходу первого испытания, а В – по исходу второго, являются независимыми.

Пример 4. Опишем вероятностное пространство, соответствующее бросанию двух монет независимо друг от друга.

Разбор примера. Пространство элементарных событий состоит из четырех элементов: ГГ, ГР, РГ, РР (запись ГГ означает, что первая монета выпала гербом и вторая – тоже гербом; запись РГ – первая – решеткой, а вторая – гербом, и т.д.). Поскольку события «первая монета выпала решеткой» и «вторая монета выпала гербом» являются независимыми по определению независимых испытаний и вероятность каждого из них равна Ѕ, то вероятность РГ равна ј.

Аналогично вероятность каждого из остальных элементарных событий также равна ј.

Пример 5. Опишем вероятностное пространство, соответствующее проверке качества двух единиц продукции независимо друг от друга, если вероятность дефектности равна х.

Разбор примера. Пространство элементарных событий состоит из четырех элементов:

1 - обе единицы продукции годны;

2 - первая единица продукции годна, а вторая – дефектна;

3 - первая единица продукции дефектна, а вторая – годна;

4 - обе единицы продукции являются дефектными.

Вероятность того, что единица продукции дефектна, есть х, а потому вероятность того, что имеет место противоположное событие, т.е. единица продукции годна, есть 1 – х. Поскольку результат проверки первой единицы продукции не зависит от такового для второй, то Замечание об условных вероятностях. В некоторых задачах прикладной статистики оказывается полезным такое понятие, как условная вероятность Р(В|A) – вероятность осуществления события В при условии, что событие А произошло. При P(A)>0 по определению Для независимых событий А и В, очевидно, P(B|A)= P(B). Это равенство эквивалентно определению независимости. Понятия условной вероятности и независимости введены А.Муавром в 1718 г.

Необходимо иметь в виду, что для независимости в совокупности нескольких событий недостаточно их попарной независимости. Рассмотрим классический пример [6, с.46]. Пусть одна грань тетраэдра окрашена в красный цвет, вторая - в зеленый. Третья грань окрашена в синий цвет и четвертая – во все эти три цвета. Пусть событие А состоит в том, что грань, на которую упал тетраэдр при бросании, окрашена красным (полностью или частично), событие В – зеленым, событие С – синим. Пусть при бросании все четыре грани тетраэдра имеют одинаковые шансы оказаться внизу. Поскольку граней четыре и две из них имеют в окраске красный цвет, то Р(А) = 1/2. Легко подсчитать, что События А, В и С, таким образом, попарно независимы. Однако если известно, что осуществились одновременно события В и С, то это значит, что тетраэдр встал на грань, содержащую все три цвета, т.е. осуществилось и событие А. Следовательно, Р(АВС) = ј, в то время как для независимых событий должно быть Р(А)Р(В)Р(С) = 1/8. Следовательно, события А, В и С в совокупности зависимы, хотя попарно независимы.

Предположим, что событие В может осуществиться с одним и только с одним из n попарно несовместных событий A1, A2,…, Ak. Тогда где события BAi и BAj с разными индексами i и j несовместны. По теореме сложения вероятностей Воспользовавшись теоремой умножения, находим, что Получена т.н. «формула полной вероятности». Она широко использовалась математиками при конкретных расчетах еще в начале 18 века, но впервые была сформулирована как одно из основных утверждений теории вероятностей П.Лапласом лишь в конце этого века. Ниже она применяется, в частности, при нахождении среднего выходного уровня дефектности в задачах статистического обеспечения качества продукции.

Применим формулу полных вероятностей для вывода т.н. «формул Байеса», которые иногда используют при проверке статистических гипотез. Требуется найти вероятность события Ai, если известно, что событие В произошло. Согласно теореме умножения Следовательно, Используя формулу полной вероятности для знаменателя, находим, что Две последние формулы и называют обычно формулами Байеса. Общая схема их использования такова. Пусть событие В может протекать в различных условиях, относительно которых может быть сделано k гипотез A1, A2,…, Ak. Априорные (от a priori (лат.) – до опыта) вероятности этих гипотез есть Р(A1), Р(A2),…, Р(Ak). Известно также, что при справедливости гипотезы Ai вероятность осуществления события В равна P(B|Ai). Произведен опыт, в результате которого событие В наступило. Естественно после этого уточнить оценки вероятностей гипотез.

Апостериорные (от a posteriori (лат.) – на основе опыта) оценки вероятностей гипотез Р(A1|B), Р(A2|B),…, Р(Ak|B) даются формулами Байеса. В прикладной статистике существует направление «байесовская статистика», в которой, в частности, на основе априорного распределения параметров после проведения измерений, наблюдений, испытаний, опытов анализов вычисляют уточненные оценки параметров.

Случайные величины и их математические ожидания. Случайная величина – это величина, значение которой зависит от случая, т.е. от элементарного события. Таким образом, случайная величина – это функция, определенная на пространстве элементарных событий. Примеры случайных величин: количество гербов, выпавших при независимом бросании двух монет; число, выпавшее на верхней грани игрального кубика; число дефектных единиц продукции среди проверенных.

Определение случайной величины Х как функции от элементарного события, т.е.

функции X : H, отображающей пространство элементарных событий в некоторое множество Н, казалось бы, содержит в себе противоречие. О чем идет речь – о величине или о функции? Дело в том, что наблюдается всегда лишь т.н. «реализация случайной величины», т.е.

ее значение, соответствующее именно тому элементарному исходу опыта (элементарному событию), которое осуществилось в конкретной реальной ситуации. Т.е. наблюдается именно «величина». А функция от элементарного события – это теоретическое понятие, основа вероятностной модели реального явления или процесса.

Отметим, что элементы Н – это не обязательно числа. Ими могут быть и последовательности чисел (вектора), и функции, и математические объекты иной природы, в частности, нечисловой (упорядочения и другие бинарные отношения, множества, нечеткие множества и др.) [2]. Однако наиболее часто рассматриваются вероятностные модели, в которых элементы Н – числа, т.е. Н = R1. В иных случаях обычно используют термины «случайный вектор», «случайное множество», «случайное упорядочение», «случайный элемент» и др.

Рассмотрим случайную величину с числовыми значениями. Часто оказывается полезным связать с этой функцией число – ее «среднее значение» или, как говорят, «среднюю величину», «показатель центральной тенденции». По ряду причин, некоторые из которых будут ясны из дальнейшего, в качестве «среднего значения» обычно используют математическое ожидание.

Определение 3. Математическим ожиданием случайной величины Х называется число т.е. математическое ожидание случайной величины – это взвешенная сумма значений случайной величины с весами, равными вероятностям соответствующих элементарных событий.

Пример 6. Вычислим математическое ожидание числа, выпавшего на верхней грани игрального кубика. Непосредственно из определения 3 следует, что Утверждение 2. Пусть случайная величина Х принимает значения х1, х2,…, хm. Тогда справедливо равенство т.е. математическое ожидание случайной величины – это взвешенная сумма значений случайной величины с весами, равными вероятностям того, что случайная величина принимает определенные значения.

В отличие от (4), где суммирование проводится непосредственно по элементарным событиям, случайное событие { X = xi } = { : X ( ) = xi } может состоять из нескольких элементарных событий.

Иногда соотношение (5) принимают как определение математического ожидания. Однако с помощью определения 3, как показано далее, более легко установить свойства математического ожидания, нужные для построения вероятностных моделей реальных явлений, чем с помощью соотношения (5).

Для доказательства соотношения (5) сгруппируем в (4) члены с одинаковыми значениями случайной величины X ( ) :

Поскольку постоянный множитель можно вынести за знак суммы, то По определению вероятности события С помощью двух последних соотношений получаем требуемое:

Понятие математического ожидания в вероятностно-статистической теории соответствует понятию центра тяжести в механике. Поместим в точки х1, х2,…, хm на числовой оси массы P(X=x1), P(X=x2),…, P(X=xm) соответственно. Тогда равенство (5) показывает, что центр тяжести этой системы материальных точек совпадает с математическим ожиданием, что показывает естественность определения 3.

Утверждение 3. Пусть Х – случайная величина, М(Х) – ее математическое ожидание, а – некоторое число. Тогда 1) М(а)=а; 2) М(Х-М(Х))=0; 3) М[(X-a)2]=M[(X-M(X))2]+(a-M(X))2.

Для доказательства рассмотрим сначала случайную величину, являющуюся постоянной, X ( ) = a, т.е. функция X ( ) отображает пространство элементарных событий в единственную точку а. Поскольку постоянный множитель можно выносить за знак суммы, то Если каждый член суммы разбивается на два слагаемых, то и вся сумма разбивается на две суммы, из которых первая составлена из первых слагаемых, а вторая – из вторых.

Следовательно, математическое ожидание суммы двух случайных величин Х+У, определенных на одном и том же пространстве элементарных событий, равно сумме математических ожиданий М(Х) и М(У) этих случайных величин:

А потому М(Х-М(Х)) = М(Х) - М(М(Х)). Как показано выше, М(М(Х)) = М(Х). Следовательно, М(Х-М(Х)) = М(Х) - М(Х) = 0.

Поскольку (Х - а)2 = {(X – M(X)) + (M(X) - a)}2 = (X - M(X))2 + 2(X - M(X))(M(X) - a) + (M(X) – a)2, то M[(Х - а)2] =M(X - M(X))2 + M{2(X - M(X))(M(X) - a)} +M[(M(X) – a)2]. Упростим последнее равенство. Как показано в начале доказательства утверждения 3, математическое ожидание константы – сама эта константа, а потому M[(M(X) – a)2] = (M(X) – a)2. Поскольку постоянный множитель можно выносить за знак суммы, то M{2(X - M(X))(M(X) - a)} = 2(M(X) a)М(X - M(X)). Правая часть последнего равенства равна 0, поскольку, как показано выше, М(ХМ(Х))=0. Следовательно, М[(X-a)2]=M[(X-M(X))2]+(a-M(X))2, что и требовалось доказать.

Из сказанного вытекает, что М[(X-a)2] достигает минимума по а, равного M[(X-M(X))2], при а = М(Х), поскольку второе слагаемое в равенстве 3) всегда неотрицательно и равно только при указанном значении а.

Утверждение 4. Пусть случайная величина Х принимает значения х1, х2,…, хm, а f – некоторая функция числового аргумента. Тогда Для доказательства сгруппируем в правой части равенства (4), определяющего математическое ожидание, члены с одинаковыми значениями Х ( ) :

Пользуясь тем, что постоянный множитель можно выносить за знак суммы, и определением вероятности случайного события (2), получаем что и требовалось доказать.

Утверждение 5. Пусть Х и У – случайные величины, определенные на одном и том же пространстве элементарных событий, а и b – некоторые числа. Тогда M(aX+bY)=aM(X)+bM(Y).

С помощью определения математического ожидания и свойств символа суммирования получаем цепочку равенств:

Требуемое доказано.

Выше показано, как зависит математическое ожидание от перехода к другому началу отсчета и к другой единице измерения (переход Y=aX+b), а также к функциям от случайных величин. Полученные результаты постоянно используются в технико-экономическом анализе, при оценке финансово-хозяйственной деятельности предприятия, при переходе от одной валюты к другой во внешнеэкономических расчетах, в нормативно-технической документации и др. Рассматриваемые результаты позволяют применять одни и те же расчетные формулы при различных параметрах масштаба и сдвига.

Независимость случайных величин – одно из базовых понятий теории вероятностей, лежащее в основе практических всех вероятностно-статистических методов принятия решений.

Определение 4. Случайные величины Х и У, определенные на одном и том же пространстве элементарных событий, называются независимыми, если для любых чисел а и b независимы события {X=a} и {Y=b}.

Утверждение 6. Если случайные величины Х и У независимы, а и b – некоторые числа, то случайные величины X+a и Y+b также независимы.

Действительно, события {X+a=с} и {Y+b=d} совпадают с событиями {X=с-a} и {Y=d-b} соответственно, а потому независимы.

Пример 7. Случайные величины, определенные по результатам различных испытаний в схеме независимых испытаний, сами независимы. Это вытекает из того, что события, с помощью которых определяется независимость случайных величин, определяются по результатам различных испытаний, а потому независимы по определению независимых испытаний.

В вероятностно-статистических методах принятия решений постоянно используется следующий факт: если Х и У – независимые случайные величины, f(X) и g(Y) – случайные величины, полученные из Х и У с помощью некоторых функций f и g, то f(X) и g(Y) – также независимые случайные величины. Например, если Х и У независимы, то Х2 и 2У+3 независимы, logX и logУ независимы. Доказательство рассматриваемого факта – тема одной из контрольных задач в конце главы.