«ПРИКЛАДНАЯ СТАТИСТИКА Учебник для вузов Издательство ЭКЗАМЕН МОСКВА 2004 1 Орлов А.И. Прикладная статистика. Учебник. / А.И.Орлов.- М.: Издательство Экзамен, 2004. - 656 с. Аннотация Учебник посвящен основным методам ...»

Некоторые постановки задач прикладной статистики, широко используемые в практической деятельности и в научных исследованиях. Чтобы дать представление о богатом содержании теории рассматриваемых методов, приведем краткий перечень основных типов постановок задач в соответствии с описанной выше классификацией областей прикладной статистики. Основные из них рассматриваются в дальнейших главах настоящего учебника.

1. Одномерная статистика.

1.1. Описание материала 1.1.1. Расчет выборочных характеристик распределения.

1.1.2. Построение гистограмм и полигонов часто.

1.1.3. Приближение эмпирических распределений с помощью распределений из системы Пирсона и других систем… 1.2. Оценивание.

1.2.1. Параметрическое оценивание.

1.2.1.1. Правила определения оценок и доверительных границ для параметров устойчивого распределения.

1.2.1.2. Правила определения оценок и доверительных границ для параметров логистического распределения.

1.2.1.3. Правила определения оценок и доверительных границ для параметров экспоненциального распределения и смеси экспоненциальных распределений… (и так далее для различных семейств распределений).

1.2.2. Непараметрическое оценивание.

1.2.2.1. Непараметрическое точечное и доверительное оценивание основных характеристик распределения – математического ожидания, дисперсии, среднего квадратического отклонения, коэффициента вариации, квантилей, прежде всего медианы.

1.2.2.2. Непараметрические оценки плотности и функции распределения.

1.2.2.3. Непараметрическое оценивание параметра сдвига… 1.3. Проверка гипотез.

1.3.1. Параметрические задачи проверки гипотез.

1.3.1.1. Проверка равенства математических ожиданий для двух нормальных совокупностей.

1.3.1.2. Проверка равенства дисперсий для двух нормальных совокупностей.

1.3.1.3. Проверка равенства коэффициентов вариации для двух нормальных совокупностей.

1.3.1.4. Проверка равенства математических ожиданий и дисперсий для двух нормальных совокупностей.

1.3.1.5. Проверка равенства математического ожидания нормального распределения определенному значению.

1.3.1.6. Проверка равенства дисперсии нормального распределения определенному значению… 1.3.1.7. Проверка равенства параметров двух экспоненциальных совокупностей… (и так далее – проверка утверждений о параметрах для различных семейств распределений).

1.3.2. Непараметрические задачи проверки гипотез.

1.3.2.1. Непараметрическая проверка равенства математических ожиданий для двух совокупностей.

1.3.2.2. Непараметрическая проверка равенства дисперсий для двух совокупностей.

1.3.2.3. Непараметрическая проверка равенства коэффициентов вариации для двух совокупностей.

1.3.2.4. Непараметрическая проверка равенства математических ожиданий и дисперсий для двух совокупностей.

1.3.2.5. Непараметрическая проверка равенства математического ожидания определенному значению.

1.3.2.6. Непараметрическая проверка равенства дисперсии определенному значению… 1.3.2.7. Проверка гипотезы согласия с равномерным распределением по критерию Колмогорова.

1.3.2.8. Проверка гипотезы согласия с равномерным распределением по критерию омега-квадрат (Крамера-Мизеса-Смирнова).

1.3.2.9. Проверка гипотезы согласия с равномерным распределением по критерию Смирнова.

1.3.2.10. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа Колмогорова при известной дисперсии.

1.3.2.11. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа Колмогорова при известном математическом ожидании.

1.3.2.12. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа Колмогорова (оба параметра неизвестны).

1.3.2.13. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа омега-квадрат при известной дисперсии.

1.3.2.14. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа омега-квадрат при известном математическом ожидании.

1.3.2.15. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа омега-квадрат (оба параметра неизвестны).

1.3.2.16. Проверка гипотезы согласия с экспоненциальным семейством распределений по критерию типа омега-квадрат… ( и так далее для различных семейств распределений, тех или иных предположениях о параметрах, всевозможных критериев).

1.3.2.17. Проверка гипотезы однородности двух выборок методом Смирнова.

1.3.2.18. Проверка гипотезы однородности двух выборок методом омега-квадрат.

1.3.2.19. Проверка гипотезы однородности двух выборок с помощью критерия Вилкоксона.

1.3.2.20. Проверка гипотезы однородности двух выборок по критерию Ван-дер-Вардена.

1.3.2.21. Проверка гипотезы симметрии функции распределения относительно 0 методом Смирнова.

1.3.2.22. Проверка гипотезы симметрии функции распределения относительно 0 с помощью критерия типа омега-квадрат (Орлова).

1.3.2.23. Проверка гипотезы независимости элементов выборки.

1.3.2.24. Проверка гипотезы одинаковой распределенности элементов выборки…(и т.д.).

2. Многомерный статистический анализ.

2.1. Описание материала.

2.1.1. Расчет выборочных характеристик (вектора средних, ковариационной и корреляционной матриц и др.).

2.1.2. Таблицы сопряженности.

2.1.3. Детерминированные методы приближения функциональной зависимости.

2.1.3.1. Метод наименьших квадратов.

2.1.3.2. Метод наименьших модулей 2.1.3.3. Сплайны и др.

2.1.4. Методы снижения размерности.

2.1.4.1. Алгоритмы факторного анализа.

2.1.4.2. Алгоритмы метода главных компонент 2.1.4.3. Алгоритмы многомерного метрического шкалирования.

2.1.4.4. Алгоритмы многомерного неметрического шкалирования.

2.1.4.5. Методы оптимального проецирования и др.

2.1.5. Методы классификации.

2.1.5.1. Методы кластер-анализа – иерархические процедуры.

2.1.5.2. Методы кластер-анализа – оптимизационный подход.

2.1.5.3. Методы кластер-анализа – итерационные процедуры… 2.1.5.4. Методы группировки… 2.2. Оценивание.

2.2.1. Параметрическое оценивание.

2.2.1.1. Оценивание параметров многомерного нормального распределения.

2.2.1.2. Оценивание параметров в нормальной модели линейной регрессии.

2.2.1.3. Методы расщепления смесей.

2.2.1.4. Оценивание компонент дисперсии в дисперсионном анализе (в нормальной модели).

2.2.1.5. Оценивание размерности и структуры модели в регрессионном анализе (в нормальной модели).

2.2.1.6. Оценивание в дискриминантном анализе (в нормальной модели).

2.2.1.7. Оценивание в методах снижения размерности (в нормальной модели).

2.2.1.8. Нелинейная регрессия.

2.2.1.9. Методы планирования эксперимента.

2.2.2. Непараметрическое оценивание.

2.2.2.1. Непараметрические оценки многомерной плотности.

2.2.2.2. Непараметрическая регрессия (с погрешностями наблюдений произвольного вида).

2.2.2.3. Непараметрическая регрессия (на основе непараметрических оценок многомерной плотности).

2.2.2.4. Монотонная регрессия.

2.2.2.5. Непараметрический дискриминантный анализ.

2.2.2.6. Непараметрический дисперсионный анализ… 2.3. Проверка гипотез.

2.3.1. Параметрические задачи проверки гипотез.

2.3.1.1. Корреляционный анализ (нормальная модель).

2.3.1.2. Проверка гипотез об отличии коэффициентов при предикторах от 0 в линейной регрессии при справедливости нормальной модели.

2.3.1.3. Проверка гипотезы о равенстве математических ожиданий нормальных совокупностей (дисперсионный анализ).

2.3.1.4. Проверка гипотезы о совпадении двух линий регрессии (нормальная модель)…(и т.д.) 2.3.2. Непараметрические задачи проверки гипотез.

2.3.2.1. Непараметрический корреляционный анализ.

2.3.2.2. Проверка гипотез об отличии коэффициентов при предикторах от 0 в линейной регрессии (непараметрическая постановка).

2.3.2.3. Проверка гипотез в непараметрическом дисперсионном анализе.

2.3.2.4. Проверка гипотезы о совпадении двух линий регрессии (непараметрическая постановка)…(и т.д.) Здесь остановимся, поскольку продолжение предполагало бы знакомство со многими достаточно сложными методами, о которых нет упоминаний в этой книге. Приведенный выше перечень ряда основных типов постановок задач, используемых в прикладной статистике, дает первоначальное представление об объеме арсенала разработанных к настоящему времени интеллектуальных инструментов в рассматриваемой области.

1. Вероятность и математическая статистика: Энциклопедия/Гл. ред. Ю.В.Прохоров. – М.:

Большая Российская энциклопедия, 1999. – 910с.

2. Орлов А.И. Эконометрика. – М.: Экзамен, 2002. - 576 с.

3. Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики / Орлов А.И., Фомин В.Н. и др. - М.: ВНИИСтандартизации, 1987. 62 с.

4. Колмогоров А.Н. Основные понятия теории вероятностей. – М.-Л.: ОНТИ, 1936. 80 с.

5. Колмогоров А.Н. Теория информации и теория алгоритмов. – М.: Наука, 1987. 304 с.

6. Гнеденко Б.В. Курс теории вероятностей: Учебник. 7-е изд., исправл. - М.: Эдиториал УРСС, 2001. 320 с.

7. Орлов А.И. Устойчивость в социально-экономических моделях. – М.: Наука, 1979. 296 с.

8. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).

9. Смирнов Н.В., Дунин-Барковский И.В. Курс теории вероятностей и математической статистики для технических приложений. – М.: Наука, 1969. 512 с.

10. Колмогоров А.Н. О логарифмически нормальном законе распределения размеров частиц при дроблении / Доклады АН СССР. 1941. Т.31. С.99-101.

11. Крамер Г. Математические методы статистики. – М.: Мир, 1975. 648 с.

12. Прохоров Ю.В., Розанов Ю.А. Теория вероятностей. (Основные понятия. Предельные теоремы. Случайные процессы.) – М.: Наука, 1973. 496 с.

13. Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. - Журнал «Заводская лаборатория». 1986. Т.52. No.12.

С.55-57.

14. Орлов А.И. О нецелесообразности использования итеративных процедур нахождения оценок максимального правдоподобия. – Журнал «Заводская лаборатория», 1986, т.52, No.5, с.67-69.

15. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омегаквадрат. – Журнал «Заводская лаборатория».1985. Т.51. No.1. С.60-62.

16. Кендалл М.Дж., Стъюарт А. Статистические выводы и связи. - М.: Наука, 1973. – 900 с.

17. Себер Дж. Линейный регрессионный анализ. - М.: Мир, 1980. - 456 с.

18. Математическая теория планирования эксперимента / Под ред. С.М.Ермакова. - М.: Наука, 1983. – 392 с.

19. Холлендер М., Вульф Д. Непараметрические методы статистики. – М.: Финансы и статистика, 1983. - 518 с.

20. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.:

Наука, 1976. – 736 с.

21. Орлов А.И. Некоторые неклассические постановки в регрессионном анализе и теории классификации. - В сб.: Программно-алгоритмическое обеспечение анализа данных в медикобиологических исследованиях. - М.: Наука, 1987. с.27-40.

1. Расскажите о понятиях случайного события и его вероятности.

2. Почему закон больших чисел и центральная предельная теорема занимают центральное место в вероятностно-статистических методах принятия решений?

3. Чем многомерный статистический анализ отличается от статистики объектов нечисловой природы?

4. Имеются три одинаковые с виду ящика. В первом а белых шаров и b черных; во втором c белых и d черных; в третьем только белые шары. Некто подходит наугад к одному из ящиков и вынимает из нее один шар. Найдите вероятность того, что этот шар белый.

5. Пассажир может воспользоваться трамваями двух маршрутов, следующих с интервалами Т1 и Т2 соответственно. Пассажир может прийти на остановку в некоторый произвольный момент времени. Какой может быть вероятность того, что пассажир, пришедший на остановку, будет ждать не дольше t, где 0 0.

Теорема 5. Равенство верно тогда и только тогда, когда пересечение носителей случайных множеств A1 A2 и A1 A2 пусто.

Доказательство. Необходимо выяснить условия, при которых Положим Тогда равенство (7) сводится к условию Ясно, что соотношение (8) выполнено тогда и только тогда, когда р2р3 = 0 при всех y Y, т.е. не существует ни одного элемента y 0 Y такого, что одновременно P( y 0 A1 A2 ) > 0 и P( y 0 A1 A2 ) > 0, а это эквивалентно пустоте пересечения носителей случайных множеств A1 A2 и A1 A2. Теорема 5 доказана.

Сведение последовательности операций над нечеткими множествами к последовательности операций над случайными множествами. Выше получены некоторые связи между нечеткими и случайными множествами. Стоит отметить, что изучение этих связей в работе [12] началось с введения случайных множеств с целью развития и обобщения аппарата нечетких множеств Л. Заде. Дело в том, что математический аппарат нечетких множеств не позволяет в должной мере учитывать различные варианты зависимости между понятиями (объектами), моделируемыми с его помощью, не является достаточно гибким. Так, для описания "общей части" двух нечетких множеств есть лишь две операции - произведение и пересечение.

Если применяется первая из них, то фактически предполагается, что множества ведут себя как проекции независимых случайных множеств (см. выше теорему 4). Операция пересечения также накладывает вполне определенные ограничения на вид зависимости между множествами (см.

выше теорему 5), причем в этом случае найдены даже необходимые и достаточные условия.

Желательно иметь более широкие возможности для моделирования зависимости между множествами (понятиями, объектами). Использование математического аппарата случайных множеств предоставляет такие возможности.

Цель сведения теории нечетких множеств к теории случайных множеств состоит в том, чтобы за любой конструкцией из нечетких множеств увидеть конструкцию из случайных множеств, определяющую свойства первой, аналогично тому, как за плотностью распределения вероятностей мы видим случайную величину. Рассмотрим результаты по сведению алгебры нечетких множеств к алгебре случайных множеств.

Определение 3. Вероятностное пространство {, G, P} назовем делимым, если для любого измеримого множества ХG и любого положительного числа, меньшего Р(Х), можно указать измеримое множество Y X такое, что P (Y ) =.

Пример. Пусть - единичный куб конечномерного линейного пространства, G есть сигма-алгебра борелевских множеств, а P - мера Лебега. Тогда {, G, P} - делимое вероятностное пространство.

Таким образом, делимое вероятностное пространство - это не экзотика. Обычный куб является примером такого пространства.

Доказательство сформулированного в примере утверждения проводится стандартными математическими приемами. Они основаны на том, что измеримое множество можно сколь угодно точно приблизить открытыми множествами, последние представляются в виде суммы не более чем счетного числа открытых шаров, а для шаров делимость проверяется непосредственно (от шара Х тело объема < P( X ) отделяется соответствующей плоскостью).

Теорема 6. Пусть даны случайное множество А на делимом вероятностном пространстве {, G, P} со значениями во множестве всех подмножеств множества У из конечного числа элементов, и нечеткое множество D на У. Тогда существуют случайные множества С1, С2, С3, С на том же вероятностном пространстве такие, что где B = Proj A.

Доказательство. В силу справедливости законов де Моргана для нечетких (см. теорему в подразделе 1.1.4 выше) и для случайных множеств, а также теоремы 3 выше (об отрицаниях) достаточно доказать существование случайных множеств С1 и С2.

Рассмотрим распределение вероятностей во множестве всех подмножеств множества У, соответствующее случайному множеству С такому, что Proj C = D (оно существует в силу теоремы 1). Построим случайное множество С2 с указанным распределением, независимое от А.

Тогда Pr oj ( A C 2 ) = BD по теореме 4.

Перейдем к построению случайного множества С1. По теореме 7 необходимо и достаточно определить случайное множество C1 ( ) так, чтобы Proj C1 = D и пересечение носителей случайных множеств A C1 и A C1 было пусто, т.е.

Построим C1 ( ), исходя из заданного случайного множества A( ). Пусть y1 Y2.

Исключим элемент у1 из A( ) для стольких элементарных событий, чтобы для полученного случайного множества A1 ( ) было справедливо равенство (именно здесь используется делимость вероятностного пространства, на котором задано случайное множество A( ) ). Для y y1, очевидно, Аналогичным образом последовательно исключаем у из A( ) для всех y Y2 и добавляем у в A( ) для всех y Y1, меняя на каждом шагу P ( y Ai ) только для y = y i так, чтобы (ясно, что при рассмотрении y i Y1 Y2 случайное множество Ai ( ) не меняется). Перебрав все элементы У, получим случайное множество Ak ( ) = C1 ( ), для которого выполнено требуемое.

Теорема 6 доказана.

Основной результат о сведении теории нечетких множеств к теории случайных множеств дается следующей теоремой.

Теорема 7. Пусть B1, B2, B3,..., Bt - некоторые нечеткие подмножества множества У из конечного числа элементов. Рассмотрим результаты последовательного выполнения теоретикомножественных операций где o - символ одной из следующих теоретико-множественных операций над нечеткими множествами: пересечение, произведение, объединение, сумма (на разных местах могут стоять разные символы). Тогда существуют случайные подмножества A1, A2, A3,..., At того же множества У такие, что и, кроме того, результаты теоретико-множественных операций связаны аналогичными соотношениями где знак означает, что на рассматриваемом месте стоит символ пересечения случайных множеств, если в определении Bm стоит символ пересечения или символ произведения нечетких множеств, и соответственно символ объединения случайных множеств, если в Bm стоит символ объединения или символ суммы нечетких множеств.

Комментарий. Поясним содержание теоремы. Например, если Как совместить справедливость дистрибутивного закона для случайных множеств (вытекающего из его справедливости для обычных множеств) с теоремой 2 подраздела 1.1.4 выше, в которой показано, что для нечетких множеств, вообще говоря, ( B1 + B2 ) B3 B1 B3 + B2 B3 ? Дело в том, что хотя в соответствии с теоремой 7 для любых трех нечетких множеств В1, В2 и В3 можно указать три случайных множества А1, А2 и А3 такие, что где но при этом, вообще говоря, и, кроме случаев, указанных в теореме 2 подраздела 1.1.4, Доказательство теоремы 7 проводится по индукции. При t=1 распределение случайного множества строится с помощью теоремы 1. Затем конструируется само случайное множество А1, определенное на делимом вероятностном пространстве (нетрудно проверить, что на делимом вероятностном пространстве можно построить случайное подмножество конечного множества с любым заданным распределением именно в силу делимости пространства). Далее случайные множества А2, А3, …, At строим по индукции с помощью теоремы 6. Теорема 7 доказана.

Замечание. Проведенное доказательство теоремы 9 проходит и в случае, когда при определении Bm используются отрицания, точнее, кроме Bm ранее введенного вида используются также последовательности результатов теоретико-множественных операций, очередной шаг в которых имеет вид А именно, сначала при помощи законов де Моргана (теорема 1 подраздела 1.1.4 выше) проводится преобразование, в результате которого в последовательности Bm остаются только отрицания отдельных подмножеств из совокупности B1, B2, B3,..., Bt, а затем с помощью теоремы 3 вообще удается избавиться от отрицаний и вернуться к условиям теоремы 7.

Итак, в настоящем подразделе описаны связи между такими объектами нечисловой природы, как нечеткие и случайные множества, установленные в нашей стране в первой половине 1970-х годов. Через несколько лет, а именно, в начале 1980-х годов, близкие подходы стали развиваться и за рубежом. Одна из работ [14] носит примечательное название "Нечеткие множества как классы эквивалентности случайных множеств".

В прикладной статистике и эконометрике [13] разработан ряд методов статистического анализа нечетких данных. В том числе методы классификации, регрессии, проверки гипотез о совпадении функций принадлежности по опытным данным и т.д. При этом оказались полезными общие подходы статистики объектов нечисловой природы (см. главу 3.4 ниже).

Методологические и прикладные вопросы теории нечеткости обсуждались и в научнопопулярной литературе (см., например, статью [15]).

Устойчивость математических моделей. Проблемам познания, в том числе в технических исследованиях, естественно-научных и социально-экономических областях, посвящено огромное количество работ. Однако это не значит, что обо всем в этой области уже все сказано. А о некоторых положениях целесообразно говорить еще и еще раз, пока они ни станут общеизвестными.

В идеале каждую модель порождения и анализа данных следовало бы рассматривать как аксиоматическую теорию. В этом идеальном случае создание и использование модели происходит в соответствии с известной триадой "практика - теория - практика". А именно, сначала вводятся некоторые математические объекты, соответствующие интересующим исследователя реальным объектам, и на основе представлений о свойствах реальных объектов формулируются необходимые для успешного моделирования свойства математических объектов, которые и принимаются в качестве аксиом. Затем аксиоматическая теория развивается как часть математики, вне связи с представлениями о реальных объектах. На заключительном этапе полученные в математической теории результаты интерпретируются содержательно.

Получаются утверждения о реальных объектах, являющиеся следствиями тех и только тех их свойств, которые ранее были аксиоматизированы.

После построения математической модели реального явления или процесса встает вопрос об ее адекватности. Иногда ответ на этот вопрос может дать эксперимент. Рассогласование модельных и экспериментальных данных следует интерпретировать как признак неадекватности некоторых из принятых аксиом. Однако для проверки адекватности социально-экономических моделей зачастую невозможно поставить решающий эксперимент в отличие, скажем, от физических моделей. С другой стороны, для одного и того же явления или процесса, как правило, можно составить много возможных моделей, если угодно, много разновидностей одной базовой модели. Поэтому необходимы какие-то дополнительные условия, которые позволяли бы их множества возможных моделей и эконометрических методов анализа данных выбрать наиболее подходящие. В качестве одного из подобных условий выдвигается требование устойчивости модели и метода анализа данных относительно допустимых отклонений исходных данных и предпосылок модели или условий применимости метода.

Отметим, что в большинстве случаев исследователей и практических работников интересуют не столько сами модели и методы, сколько решения, которые с их помощью принимаются. Ведь модели и методы для того и разрабатываются, чтобы подготавливать решения. Вместе с тем очевидно, что решения, как правило, принимаются в условиях неполноты информации. Так, любые числовые параметры известны лишь с некоторой точностью. Введение в рассмотрение возможных неопределенностей исходных данных требует каких-то заключений относительно устойчивости принимаемых решений по отношению к этим допустимым неопределенностям.

Введем основные понятия согласно монографии [5]. Будем считать, что имеются исходные данные, на основе которых принимаются решения. Способ переработки (отображения) исходных данных в решение назовем моделью. Таким образом, с общей точки зрения модель это функция, переводящая исходные данные в решение, т.е. способ перехода значения не имеет.

Очевидно, любая рекомендуемая для практического использования модель должна быть исследована на устойчивость относительно допустимых отклонений исходных данных. Укажем некоторые возможные применения результатов подобного исследования:

- заказчик научно-исследовательской работы получает представление о точности предлагаемого решения;

- удается выбрать из многих моделей наиболее адекватную;

- по известной точности определения отдельных параметров модели удается указать необходимую точность нахождения остальных параметров;

- переход к случаю "общего положения" позволяет получать более сильные с математической точки зрения результаты.

Примеры. По каждому из четырех перечисленных возможных применений в [5, 13] приведены различные примеры. В прикладной статистике точность предлагаемого решения связана с разбросом исходных данных и с объемом выборки. Выбору наиболее адекватной модели посвящены многие рассмотрения в главах 3.1 и 3.2, связанные с обсуждением моделей однородности и регрессии. Использование рационального объема выборки в статистике интервальных данных (глава 3.5) исходит из принципа уравнивания погрешностей. Этот принцип основан на том, что по известной точности определения отдельных параметров модели удается указать необходимую точность нахождения остальных параметров. Другим примером применения принципа уравнивания погрешностей является нахождение необходимой точности оценивания параметров в моделях логистики, рассмотренных в главе 5 монографии [5]. Наконец, переходом к случаю "общего положения" в прикладной статистике является, в частности, переход к непараметрическим методам, необходимый из-за невозможности обосновать принадлежность результатов наблюдений к тем или иным параметрическим семействам.

Специалисты по математическому моделированию и теории управления считают устойчивость одной из важных характеристик технических, социально-экономических, медицинских и иных моделей. Достаточно глубокие исследования ведутся по ряду направлений.

Первоначальное изучение влияния малого изменения одного параметра обычно называют анализом чувствительности. Оно описывается значением частной производной. Если модель задается дифференцируемой функцией, то итог анализа чувствительности - вектор значений частных производных в анализируемой точке.

Теория устойчивости решений дифференциальных уравнений развивается по крайней мере с XIX в. [16]. Выработаны соответствующие понятия - устойчивость по Ляпунову, корректность, доказаны глубокие теоремы. Для решения некорректных задач академиком АН СССР А.Н.

Тихоновым в начале 1960-х годов был предложен метод регуляризации. Модели явлений и процессов, выражаемые с помощью дифференциальных уравнений, могут быть исследованы на устойчивость путем применения хорошо разработанного математического аппарата.

Вопросы устойчивости изучались практически во всех направлениях прикладных математических методов - и в математическом программировании, и в теории массового обслуживания (теории очередей), и в эколого-экономических моделях, и в различных областях эконометрики.

Общая схема устойчивости. Прежде чем переходить к конкретным постановкам, обсудим "общую схему устойчивости", дающую понятийную базу для обсуждения проблем устойчивости в различных предметных областях.

Определение 1. Общей схемой устойчивости называется объект {,, d, f, }.

Здесь - множество, интерпретируемое как пространство исходных данных; множество, называемое пространством решений. Однозначное отображение f : называется моделью. Об этих трех составляющих общей схемы устойчивости уже шла речь выше.

Оставшиеся два понятия нужны для уточнения понятий близости в пространстве исходных данных и пространстве решений. Подобные уточнения могут быть сделаны разными способами. Самое "слабое" уточнение - на языке топологических пространств. Тогда возможны качественные выводы (сходится - не сходится), но не количественные расчеты. Самое "сильное" уточнение - на языке метрических пространств. Промежуточный вариант - используются показатели различия (отличаются от метрик тем, что не обязательно выполняются неравенства треугольника) или вводимые ниже понятия.

Пусть d -показатель устойчивости, т.е. неотрицательная функция, определенная на подмножествах У множества и такая, что из Y1 Y2 вытекает d (Y1 ) d (Y2 ). Часто показатель устойчивости d(Y) определяется с помощью метрики, псевдометрики или показателя различия (меры близости) как диаметр множества У, т.е.

Таким образом, говоря попросту, в пространстве решений с помощью показателя устойчивости вокруг образа исходных данных может быть сформирована система окрестностей. Но сначала надо такую систему сформировать в пространстве исходных данных.

Пусть = {E ( x, ), x, } - совокупность допустимых отклонений. Т.е. система подмножеств множества такая, что каждому элементу множества исходных данных x и каждому значению параметра из некоторого множества параметров соответствует подмножество E ( x, ) множества исходных данных. Оно называется множеством допустимых отклонений в точке х при значении параметра, равном. Наглядно можно представить себе, что вокруг точки х взята окрестность радиуса.

Определение 2. Показателем устойчивости в точке х при значении параметра, равном, называется число Другими словами, это - диаметр образа множества допустимых колебаний при рассматриваемом в качестве модели отображении. Очевидно, что этот показатель устойчивости зависит как от исходных данных, так и от диаметра множества возможных отклонений в исходном пространстве. Для непрерывных функций показатель устойчивости обычно называется модулем непрерывности.

Естественно посмотреть, насколько сузится образ окрестности возможных отклонений при максимально возможном сужении этой окрестности.

Определение 3. Абсолютным показателем устойчивости в точке х называется число Если функция f непрерывна, а окрестности - именно те, о которых идет речь в математическом анализе, то максимальное сужение означает сужение к точке и абсолютный показатель устойчивости равен 0. Но в теории измерений и статистике интервальных данных мы сталкиваемся с совсем иными ситуациями. В теории измерений окрестностью исходных данных являются все те вектора, что получаются из исходного путем преобразования координат с помощью допустимого преобразования шкалы, а допустимое преобразование шкалы берется из соответствующей группы допустимых преобразований. В статистике интервальных данных под окрестностью исходных данных естественно понимать - при описании выборки - куб с ребрами 2 и центром в исходном векторе. И в том, и в другом случае максимальное сужение не означает сужение к точке.

Естественным является желание ввести характеристики устойчивости на всем пространстве. Не вдаваясь в математические тонкости (см. о них монографию [5]), рассмотрим меру µ на пространстве такую, что мера всего пространства равна 1 (т.е. µ ( ) = 1).

Определение 4. Абсолютным показателем устойчивости на пространстве исходных данных по мере µ называется число Здесь имеется в виду интеграл Лебега. Интегрирование проводится по (абстрактному) пространству исходных данных по мере µ. Естественно, должны быть выполнены некоторые внутриматематические условия. Читателю, незнакомому с интегрированием по Лебегу, достаточно мысленно заменить в предыдущей формуле интеграл на сумму (а пространство считать конечным, хотя и состоящим из большого числа элементов).

Определение 5. Максимальным абсолютным показателем устойчивости называется Легко видеть, что = sup ( µ ), где супремум берется по всем описанным выше мерам.

Итак, построена иерархия показателей устойчивости математических моделей реальных явлений и процессов. Она с успехом использовалась в различных исследованиях, подробно развивалась, в частности, в монографии [5]. Приведем еще одно полезное определение.

Определение 6. Модель f называется абсолютно -устойчивой, если, где максимальный абсолютный показатель устойчивости.

Пример. Если показатель устойчивости формируется с помощью метрики, совокупность допустимых отклонений - это совокупность всех окрестностей всех точек пространства исходных данных, то 0-устойчивость модели f эквивалентна непрерывности модели f на множестве.

Основная проблема в общей схеме устойчивости - проверка -устойчивости данной модели f относительно данной системы допустимых отклонений.

Часто оказываются полезными следующие два обобщения основной проблемы.

Проблема А (характеризации устойчивых моделей). Даны пространство исходных данных, пространство решений, показатель устойчивости d, совокупность допустимых отклонений и неотрицательное число. Описать достаточно широкий класс -устойчивых моделей f.

Или: найти все -устойчивые модели среди моделей, обладающих данными свойствами, т.е.

входящих в данное множество моделей.

Проблема Б (характеризации систем допустимых отклонений). Даны пространство исходных данных, пространство решений, показатель устойчивости d, модель f и неотрицательное число. Описать достаточно широкий класс систем допустимых отклонений, относительно которых модель f является -устойчивой. Или: найти все такие системы допустимых отклонений среди совокупностей допустимых отклонений, обладающих данными свойствами, т.е. входящих в данное множество совокупностей допустимых отклонений.

Ясно, что проблемы А и Б можно рассматривать не только для показателя устойчивости, но и для других только что введенных показателей устойчивости, а именно, Язык общей схемы устойчивости позволяет описывать конкретные задачи специализированных теорий устойчивости в различных областях исследований, выделять в основные элементы в них, ставить проблемы типа А и Б. В частности, на этом языке легко формулируются задачи теории устойчивости решений дифференциальных уравнений, теории робастности статистических процедур (см. главу 2.2.), проблемы адекватности теории измерений, достигаемой точности расчетов в статистике интервальных данных и в логистике (см. монографию [5]), и т.д.

Для примера рассмотрим определение устойчивости по Ляпунову решения (t, x) нормальной автономной системы дифференциальных уравнений y = g ( y ) с начальными & условиями (0, x) = x. Здесь пространство исходных данных - конечномерное евклидово пространство, множество допустимых отклонений E ( x, ) окрестность радиуса точки x, пространство решений - множество функций на луче [0;+) с метрикой Модель f - отображение, переводящее начальные условия х в решение системы дифференциальных уравнений с этими начальными условиями (t, x).

В терминах общей схемы устойчивости положение равновесия а называется устойчивым по Ляпунову, если (a, ) = 0. Для формулировки определения асимптотической устойчивости по Ляпунову надо ввести в пространстве решений псевдометрику Положение равновесия а называется асимптотически устойчивым, если 1 (a, E (a, )) = 0 для некоторого > 0, где показатель устойчивости 1 рассчитан с использованием псевдометрики Таким образом, общая схема устойчивости естественным образом включает в себя классические понятия теории устойчивости по Ляпунову. Вместе с тем стоит отметить, что эта схема дает общий подход к различным проблемам устойчивости. Она дает систему понятий, которые в каждом конкретном случае должны приспосабливаться к решаемой задаче.

До настоящего момента для определенности речь шла о допустимых отклонениях в пространстве исходных данных. Часто оказывается необходимым говорить и об отклонениях от предпосылок модели. С чисто формальной точки зрения для этого достаточно расширить понятие "исходные данные" до пары (x, f), т.е. включив "прежнюю" модель в качестве второго элемента пары. Все остальные определения остаются без изменения. Теперь отклонения в пространстве решений вызываются не только отклонениями в исходных данных x, но и отклонениями от предпосылок модели, т.е. отклонениями f. Это соображение нам понадобится в подразделе 2.2.4, посвященном робастности статистических процедур.

Устойчивость по отношению к объему выборки. Различные асимптотические постановки в прикладной статистике также естественно рассматривать как задачи устойчивости.

Если при безграничном возрастании объема выборки некоторая величина стремится к пределу, то в терминах общей схемы устойчивости это означает, что она 0-устойчива в соответствующей псевдометрике (см. выше обсуждение асимптотической устойчивости по Ляпунову). С содержательной точки зрения употребление термина "устойчивость" в такой ситуации представляется вполне оправданным, поскольку рассматриваемая величина мало меняется при изменении объема выборки.

Рассмотрим проблему и методы оценки близости предельных распределений статистик и распределений, соответствующих конечным объемам выборок. При каких объемах выборок уже можно пользоваться предельными распределениями? Каков точный смысл термина "можно" в предыдущей фразе? Основное внимание уделяется переходу от точных формул допредельных распределений к пределу и применению метода статистических испытаний (Монте-Карло).

Начнем с обсуждения взаимоотношений асимптотической математической статистики и практики анализа статистических данных. Как обычно подходят к обработке реальных данных в конкретной задаче? Первым делом строят статистическую модель. Если хотят перенести выводы с совокупности результатов наблюдений на более широкую совокупность, например, предсказать что-либо, то рассматривают, как правило, вероятностно-статистическую модель. Например, традиционную модель выборки, в которой результаты наблюдений - реализации независимых (в совокупности) одинаково распределенных случайных величин. Очевидно, любая модель лишь приближенно соответствует реальности. В частности, естественно ожидать, что распределения результатов наблюдений несколько отличаются друг от друга, а сами результаты связаны между собой, хотя и слабо.

Итак, первый этап - переход от реальной ситуации к математической модели. Далее неожиданность: на настоящем этапе своего развития математическая теория статистики зачастую не позволяет провести необходимые исследования для имеющихся объемов выборок. Более того, отдельные математики пытаются оправдать свой отрыв от практики соображениями о структуре этой теории, на первый взгляд убедительными. Неосторожная давняя фраза Б.В. Гнеденко и А.Н.Колмогорова: "Познавательная ценность теории вероятностей раскрывается только предельными теоремами" (см. классическую монографию [17], одну из наиболее ценных математических книг ХХ в.) взята на вооружение и более близкими к нам по времени авторами.

Так, И.А. Ибрагимов и Р.З. Хасьминский пишут: "Решение неасимптотических задач оценивания, хотя и весьма важное само по себе, как правило, не может являться объектом достаточно общей математической теории. Более того, соответствующее решение часто зависит от конкретного типа распределения, объема выборки и т.д. Так, теория малых выборок из нормального закона будет отличаться от теории малых выборок из закона Пуассона" (см.

напичканную формулами монографию [18, с.7]).

Согласно цитированным и подобным им авторам, основное содержание математической теории статистики - предельные теоремы, полученные в предположении, что объемы рассматриваемых выборок стремятся к бесконечности. Эти теоремы опираются на предельные соотношения теории вероятностей, типа Закона Больших Чисел и Центральной Предельной Теоремы. Ясно, что сами по себе подобные утверждения относятся к математике, т.е. к сфере чистой абстракции, и не могут быть непосредственно применены для анализа реальных данных.

Их практическое использование, о котором "чистые" математики предпочитают не думать, опирается на важное предположение: «При данном объеме выборки достаточно точными являются асимптотические формулы».

Конечно, в качестве первого приближения представляется естественным воспользоваться асимптотическими формулами, не тратя сил на анализ их точности. Но это - лишь начало долгой цепи исследований. Как же обычно преодолевают разрыв между результатами асимптотической математической статистики и потребностями практики статистического анализа данных? Какие "подводные камни" подстерегают на этом пути?

Точные формулы и асимптотика. Начнем с наиболее продвинутой в математическом плане ситуации, когда для статистики известны как предельное распределение, так и распределения при конечных объемах выборки.

Примером является двухвыборочная односторонняя статистика Н.В.Смирнова.

Рассмотрим две независимые выборки объемов m и n из непрерывных функций распределения F(x) и G(x) соответственно. Для проверки гипотезы однородности двух выборок (ср. главу 3.1) в 1939 г. Н.В. Смирнов в статье [19] предложил использовать статистику где Fm(x) - эмпирическая функция распределения, построенная по первой выборке, Gn(x) эмпирическая функция распределения, построенная по второй выборке, супремум берется по всем действительным числам x. Для обсуждения проблемы соотношения точных и предельных результатов ограничимся случаем равных объемов выборок, т.е. m = n. Положим В цитированной статье [19] Н.В. Смирнов установил, что при безграничном возрастании объема выборки n вероятность H(n, t) стремится к exp(- t 2).

В работе [20] 1951 г. Б.В. Гнеденко и В.С. Королюк показали, что при целом c = t n (именно при таких t вероятность H(n, t) как функция t имеет скачки, поскольку статистика Смирнова D+(n,n) кратна 1/n) рассматриваемая вероятность H(n, t) выражается через биномиальные коэффициенты, а именно, К сожалению, непосредственные расчеты по формуле (1) возможны лишь при сравнительно небольших объемах выборок, поскольку величина n! (n-факториал) уже при n= имеет более 200 цифр и не может быть без преобразований использована в вычислениях.

Следовательно, наличие точной формулы для интересующей нас вероятности не снимает необходимости использования предельного распределения и изучения точности приближения с его помощью.

Широко известная формула Стирлинга для гамма-функции и, в частности, для факториалов позволяет преобразовать последнее выражение в асимптотическое разложение. Т.е.

построить бесконечный степенной ряд (по степеням n) такой, что каждая следующая частичная сумма дает все более точное приближение для интересующей нас вероятности H(x, t). Это и было сделано в работе А.А. Боровкова 1962 г. Большое количество подобных разложений для различных статистических задач приведено в работах В.М. Калинина и О.В. Шалаевского конца 1960-х - начала 1970-х годов. (Интересно отметить, что асимптотические разложения в ряде случаев расходятся, т.е. остаточные члены имеют нетривиальную природу.) Затем в работах конца семидесятых годов была сделана попытка теоретически оценить остаточный член второго порядка. Итоги подведены в монографии [5, §2.2, с.37-45].

Справедливо равенство где Целью последних из названных работ было получение равномерных по n, t оценок остаточного члена второго порядка g(n,t) сверху и снизу в области, задаваемой условиями где A, t max, n0 - некоторые параметры. С помощью длинных цепочек оценок остаточных членов в формулах, получаемых при преобразовании формулы (1) к предельному виду, сформулированная выше цель была достигнута. Для различных наборов параметров A, t max, n получены равномерные по n, t оценки (сверху и снизу) остаточного члена второго порядка g(n,t) в области (2). Так, например, при А = 0,5, t max = 1,73, n0 = 8 нижняя граница равна (- 0,71), а верхняя есть 2,65.

Основными недостатками такого подхода являются, во первых, зависимость оценок от параметров A, t max, n0, задающих границы областей, во-вторых, завышение оценок, иногда в сотни раз, обусловленное желанием получить равномерные оценки по области (оценкой реальной погрешности в конкретной точке является значение следующего члена асимптотического разложения).

Поэтому при составлении рассчитанной на практическое использование методики [21] проверки однородности двух выборок с помощью статистики Смирнова было решено перейти на несколько другую методологию (назовем ее "методологией заданной точности"), которую кратко можно описать следующим образом.

1) выбирается достаточно малое положительное число р, например р = 0,05 или р = 0,20;

2) приводятся точные значения H(n, t) для всех значений n таких, что 3) если же последнее неравенство не выполнено, то используется вместо H(n, t) предельное значение exp(-t2).

Таким образом, принятая в методике [21] методология предполагает интенсивное использование вычислительной техники. Результатами расчетов являются граничные значения объемов выборок n(p,t) такие, что при меньших значениях объемов выборок рекомендуется пользоваться точными значениями функции распределения статистики Смирнова, а при больших - предельными. Описывается этот результат таблицей, а не формулой. Отметим, что при построении реальных таблиц не обойтись без выбора того или иного конкретного значения р, задающего объемы таблиц.

Оценки скорости сходимости. Теоретические оценки скорости сходимости в различных задачах прикладной математической статистики иногда формулируются в весьма абстрактном виде. Так, в 1960-1970-х годах была популярна задача оценки скорости сходимости распределения классической статистики омега-квадрат (Крамера-Мизеса-Смирнова). Для максимума модуля разности допредельной и предельной функций распределения этой статистики различные авторы доказывали, что для любого e>0 существует константа С(e) такая, что он не превосходит С(e)n-w+e. Прогресс состоял в увеличении константы w.

Сформулированный выше результат был доказан последовательно для w = 1/10, 1/6, 1/5, 1/4, 1/3, 1/2 и 1 (подробнее история этих исследований рассказана в §2.3 монографии [5]).

Конечно, все эти исследования не могли дать конкретных практических рекомендаций.

Однако необходимой исходной точкой является само существование предельного распределения. Представим себе, что некто, не зная, что у распределения Коши нет математического ожидания, моделирует выборочные средние арифметические результатов наблюдений из этого распределения. Ясно, что его попытки оценить скорость сходимости выборочных средних к пределу обречены на провал.

Последовательное улучшение теоретических оценок скорости сходимости дает надежду на быструю реальную сходимость. Действительно, численные расчеты показали, что предельным распределением для статистики омега-квадрат (Крамера-Мизеса-Смирнова) можно пользоваться уже при объеме выборки, равном 4.

Использование датчиков псевдослучайных чисел. Если же предельное распределение известно, то возникает возможность изучить скорость сходимости численно методом статистических испытаний (Монте-Карло). Однако при этом обычно возникают две проблемы.

Во-первых, откуда известно, что скорость сходимости монотонна? Если при данном объеме выборки различие мало, то будет ли оно мало и при дальнейших объемах? Иногда отклонения допредельного распределения от предельного объясняются довольно сложными причинами. Так, для распределения хи-квадрат они связаны с рядом до сих пор не решенных теоретико-числовых проблем о числе целых точек в эллипсоиде растущего диаметра.

Во-вторых, с помощью датчиков псевдослучайных чисел получаем допредельные распределения с погрешностью, которая может преуменьшать различие. Поясним мысль аналогией. Растущий сигнал измеряется с погрешностями. Когда можно гарантировать, что его величина наверняка превзошла заданную границу?

Напомним, что проблема качества датчиков псевдослучайных чисел продолжает оставаться открытой (см. главу 11 в [13]). Для моделирования в пространствах фиксированной размерности датчики псевдослучайных чисел решают поставленные задачи. Но для рассматриваемых здесь задач размерность не фиксирована - мы не знаем, при каком конкретно объеме выборки можно переходить к предельному распределению согласно "методологии заданной точности".

Нужны дальнейшие работы по изучению качества датчиков псевдослучайных чисел в задачах неопределенной размерности. Поскольку критиков датчиков обычно обвиняют в том, что они сами их не используют, отметим, что мы применяли этот инструментарий при изучении помех, создаваемых электровозами (см. монографию [5]), при изучении статистических критериев проверки однородности двух выборок (см. работу [22]).

А нужна ли вообще асимптотика? В настоящее время развивается актуальное направление прикладной статистики, связанное с интенсивным использованием вычислительной техники для изучения свойств статистических процедур. Как уже отмечалось, математические методы в статистике обычно позволяют получать лишь асимптотические результаты, и для переноса выводов на конечные объемы выборок приходится применять вычислительные методы.

В Новосибирском государственном техническом университете разработан и успешно применяется оригинальный подход, основанный на интенсивном использовании современной вычислительной техники. Основная идея такова: в качестве альтернативы асимптотическим методам математической статистики используется анализ результатов статистического моделирования (порядка 2000 испытаний) выборок конкретных объемов (200, 500, 1000). При этом анализ предельных распределений заменяется на анализ распределений соответствующих статистик при указанных объемах выборок.

К достоинствам подхода относится возможность замены теоретических исследований расчетами. Разработанная программная система дает (в принципе) возможность численно изучить свойства любого статистического алгоритма для любого конкретного распределения результатов наблюдений и любого конкретного объема выборки. К недостаткам рассматриваемого подхода относится зависимость от свойств датчиков псевдослучайных чисел, а также - что более важно - неизвестность предельного распределения (и даже самого факта его существования), а потому невозможность обоснованного переноса полученных выводов на объемы выборок, отличные от исследованных. Поэтому с точки зрения теории математической статистики полученные рассматриваемым способом результаты следует рассматривать как правдоподобные (а не доказательные, как в классической математической статистике).

Кроме того, они принципиально неточные. Даже в наиболее благоприятных условиях отклонение (в метрике «супремум разности») смоделированного распределения, построенного по 2000 испытаниям, от теоретического предельного распределения может достигать 1,358Ч(1/2000)1/2 = 0,030 (см. главу 1.2). Это означает, в частности, что процентные точки, соответствующие уровням значимости 0,05 и особенно 0,01, могут сильно отличаться от соответствующих процентных точек предельных распределений. Очевидно, следующий этап работ - изучение точности полученных в рассматриваемом подходе выводов, прежде всего приближений и процентных точек.

Однако сразу все не сделаешь. Поэтому новосибирцы совершенно правы, развивая новые компьютерные подходы к давним задачам прикладной статистики. Так, весьма полезными и интересными являются результаты, касающиеся непараметрических критериев согласия и построения оптимального группирования, в частности, при использовании критериев типа хиквадрат.

Однако стоит сделать два замечания. В работе [23] сравниваются два плана контроля надежности технических изделий. Оказывается, что при объемах выборки, меньших 150, лучше первый план, а при объемах, больших 150 - второй. Значит, если бы по новосибирскому методу сравнивались эти планы при достаточно большом объеме выборки n=100, то лучшим был бы признан первый план, что неверно - наступит момент (объем выборки), когда лучшим станет второй план.

Другая относящаяся к делу ассоциация - из весьма содержательной монографии о прикладной математике [24]. Будем суммировать бесконечный ряд с членами zn= 1/n.

Поскольку члены его убывают, то обычно используемые алгоритмы остановят вычисления на каком-то шагу. А сумма-то - бесконечна!

Кажется, что компьютер дал универсальную отмычку ко всем проблемам вообще и в области прикладной статистики в частности. Но это только кажется.

Принцип уравнивания погрешностей состоит в том, что погрешности различной природы должны вносит примерно одинаковый вклад в общую погрешность математической модели. Так, определение рационального объема выборки в статистике интервальных данных основано на уравнивании влияния метрологической и статистической погрешностей. Согласно подходу [5] выбор числа градаций в социологических анкетах целесообразно проводить на основе уравнивания погрешностей квантования и неопределенности в ответах респондентов. В классической модели управления запасами целесообразно уравнять влияние неточностей в определении параметров на отклонение целевой функции от оптимума. Из принципа уравнивания погрешностей следует, что относительные погрешности определения параметров модели должны совпадать. Погрешность, порожденная отклонением спроса от линейного, оценивается по данным об отпуске товаров. Это дает возможность оценить допустимые отклонения для других параметров. В частности, установить, что расхождения между методиками не являются существенными [5].

В терминах общей схемы устойчивости рассмотрим для простоты записи случай двух параметров. Пусть Б = [0, )Ч[0,) и E(x, б) = E(x, (е, д)), где е > 0 и д > 0 задают точность определения соответствующих параметров, так что E ( x, ( 1, 1 )) E ( x, ( 2, 2 )) при е1 1600.

В обычно используемых сумматорах слагаемых значительно меньше.

Сужая класс возможных распределений H, можно получить, как показано в монографии [5], более быструю сходимость, но теория здесь еще не смыкается с практикой. Кроме того, не ясно, обеспечивает ли близость распределения к нормальному (в определенной метрике) также и близость распределений статистик. Речь идет о сравнении распределения статистики, построенной по случайным величинам, полученным суммированием, к распределению статистики, соответствующей нормальным результатам наблюдений. Видимо, для каждой конкретной статистики необходимы специальные теоретические исследования, Именно к такому выводу приходит автор монографии [5]. В задачах отбраковки выбросов ответ: "Не обеспечивает" (см.

ниже).

Отметим, что результат любого реального измерения записывается с помощью конечного числа десятичных знаков, обычно небольшого (2-5), так что любые реальные данные целесообразно моделировать лишь с помощью дискретных случайных величин, принимающих сравнительно небольшое число значений. Нормальное распределение - лишь аппроксимация реального распределения. Так, например, данные конкретного исследования, приведенные в работе [6], принимают значения от 1,0 до 2,2, т.е. всего 13 возможных значений. Из принципа Дирихле следует, что в какой-то точке построенная по данным работы [6] функция распределения отличается от ближайшей функции нормального распределения не менее чем на 1/26, т.е. на 0,04.

Кроме того, очевидно, что для нормального распределения случайной величины вероятность попасть в дискретное множество десятичных чисел с заданным числом знаков после запятой равна Из сказанного выше следует, что результаты измерений и вообще статистические данные имеют свойства, приводящие к тому, что моделировать их следует случайными величинами с распределениями, более или менее отличными от нормальных. В большинстве случаев распределения существенно отличаются от нормальных. В других ситуациях нормальные распределения могут, видимо, рассматриваться как некоторая аппроксимация. Но никогда нет полного совпадения. Отсюда вытекает необходимость изучения свойств классических статистических процедур в неклассических вероятностных моделях (подобно тому, как это сделано в главе 3.1 для критерия Стьюдента). А также целесообразность разработки устойчивых (учитывающих наличие отклонений от нормальности) и непараметрических, в том числе свободных от распределения процедур, их широкого внедрения в практику статистической обработки данных.

Опущенные здесь рассмотрения для других параметрических семейств приводят к аналогичным выводам. Итог можно сформулировать так. Распределения реальных данных практически никогда не входят в какое-либо конкретное параметрическое семейство. Реальные распределения всегда отличаются от тех, что включены в параметрические семейства. Отличия могут быть большие или маленькие, но они всегда есть.

Исходные статистические данные могут быть достаточно обширными. В качестве примера приведем результаты экспертного опроса, проведенного Институтом высоких статистических технологий и эконометрики в 1994 г. (табл.1). В первом столбце приведены номера экспертов, в остальных четырех – четыре прогнозных значения, полученных от каждого эксперта. Отметим, что эксперт №28 не ответил на вопрос об инфляции. В таблицах реальных данных приходися сталкиваться с пропусками.

№ Курс доллара Инфляция (%) за Цена батона белого Цена 1 л 17 21 23 24 28 33 Описание данных - это первичное сжатие информации с целью сделать ее более обозримой, легкой для восприятия. Самый древний способ – это составление различных таблиц, вторичных по отношению к таблицам исходных данных.

Например, рассмотрим последний столбец табл.1. Для лучшего восприятия прогнозов экспертов о цене 1 л молока сгруппируем данные по интервалам, как это сделано в табл.2.

Группировка данных в табл.2 по 10 интервалам может показаться слишком дробной.

Нетрудно объединить градации и получить, например, табл.3.

Сколько использовать градаций (т.е. строк в таблице)? Общих рекомендаций дать нельзя.

Ответ зависит от цели статистического исследования, от структуры конкретных данных.

Табличный материал может быть выражен в виде различных диаграмм, в том числе круговых и столбчатых. Несколько десятков лет назад были популярны гистограммы – столбчатые диаграммы, для которых интервалы группирования имеют одинаковую длину.

В настоящее время гистограммы рассматривают как устаревшие инструменты статистического анализа. Для описания массива данных рекомендуется использовать вариационные ряды, эмпирические функции распределения (см. главу 1.2) и – особенно настоятельно – непараметрические оценки плотности (см. подраздел 2.1.6). Кроме того, целесообразно рассчитывать и приводить в документации в разделе «Описание данных»

выборочные характеристики:

- выборочное среднее арифметическое;

- выборочную дисперсию;

- выборочное среднее квадратическое отклонение;

- коэффициент вариации - минимум (первый член вариационного ряда);

- максимум (последний член вариационного ряда);

- моду и амплитуду моды;

- верхний квартиль;

- нижний квартиль;

- межквартильное расстояние.

Определения всех этих выборочных характеристик даны выше в главе 1.2. В настоящем подразделе сведены вместе наиболее распространенные приемы описания числовых данных.

Инвариантные алгоритмы и средние величины. Основное требование к алгоритмам анализа данных формулируется в теории измерений (см. главу 1.1) так: выводы, сделанные на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных. Другими словами, выводы должны быть инвариантны по отношению к допустимым преобразованиям шкалы.

Таким образом, одна из основных целей теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам. Так, расстояния можно измерять в аршинах, метрах, микронах, милях, парсеках и других единицах измерения. Массу (вес) - в пудах, килограммах, фунтах и др. Цены на товары и услуги можно указывать в юанях, рублях, тенге, гривнах, латах, кронах, марках, долларах США и других валютах (при фиксированных курсах пересчета). Подчеркнем очень важное, хотя и вполне очевидное обстоятельство: выбор единиц измерения зависит от исследователя, т.е. субъективен. Статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую единицу измерения предпочтет исследователь, т.е. когда они инвариантны относительно допустимого преобразования шкалы.

Оказывается, сформулированное условие является достаточно сильным. Из многих алгоритмов анализа статистических данных ему удовлетворяют лишь некоторые. Покажем это на примере сравнения средних величин.

Пусть Х1, Х2,…, Хn - выборка объема n. Часто используют среднее арифметическое Использование среднего арифметического настолько привычно, что второе слово в термине часто опускают. И говорят о средней зарплате, среднем доходе и других средних для конкретных экономических данных, подразумевая под "средним" среднее арифметическое. Такая традиция может приводить к ошибочным выводам. Покажем это на примере расчета средней заработной платы (среднего дохода) работников условного предприятия (табл.4).

№ Категория работников Число ра- Заработ-ная Суммарные Первые три строки в табл.4 вряд ли требуют пояснений. Менеджеры - это директора по направлениям, а именно, по производству (главный инженер), по финансам, по маркетингу и сбыту, по персоналу (по кадрам). Владелец сам руководит предприятием в качестве генерального директора. В столбце "заработная плата" указаны доходы одного работника соответствующей категории, а в столбце "суммарные доходы" - доходы всех работников соответствующей категории.

Фонд оплаты труда составляет 40000 единиц, работников всего 100, следовательно, средняя заработная плата составляет 40000/100 = 400 единиц. Однако эта средняя арифметическая величина явно не соответствует интуитивному представлению о "средней зарплате". Из 100 работников лишь 5 имеют заработную плату, ее превышающую, а зарплата остальных 95 существенно меньше средней арифметической. Причина очевидна - заработная плата одного человека - генерального директора - превышает заработную плату 95 работников - низкоквалифицированных и высококвалифицированных рабочих, инженеров и служащих.

Ситуация напоминает описанную в известном рассказе о больнице, в которой 10 больных, из них у 9 температура 40 0С, а один уже отмучился, лежит в морге с температурой 00С. Между тем средняя температура по больнице равна 360С - лучше не бывает!

Сказанное показывает, что среднее арифметическое можно использовать лишь для достаточно однородных совокупностей (без больших выбросов в ту или иную сторону). А какие средние целесообразно использовать для описания заработной платы? Вполне естественно использовать медиану. Для данных табл.4 медиана - среднее арифметическое 50-го и 51-го работника, если их заработные платы расположены в порядке неубывания. Сначала идут зарплаты 40 низкоквалифицированных рабочих, а затем - с 41-го до 70-го работника - заработные платы высококвалифицированных рабочих. Следовательно, медиана попадает именно на них и равна 200.

У 50-ти работников заработная плата не превосходит 200, и у 50-ти - не менее 200, поэтому медиана показывает "центр", около которого группируется основная масса исследуемых величин.

Еще одна средняя величина - мода, наиболее часто встречающееся значение. В рассматриваемом случае это заработная плата низкоквалифицированных рабочих, т.е. 100. Таким образом, для описания зарплаты имеем три средние величины - моду (100 единиц), медиану (200 единиц) и среднее арифметическое (400 единиц). Для наблюдающихся в реальной жизни распределений доходов и заработной платы справедлива та же закономерность: мода меньше медианы, а медиана меньше среднего арифметического.

Для чего в технических, экономических, медицинских и иных исследованиях используются средние величины? Обычно для того, чтобы заменить совокупность чисел одним числом, чтобы сравнивать совокупности с помощью средних.

Пусть, например, Y1, Y2,...,Yn - совокупность оценок экспертов, "выставленных" одному объекту экспертизы (например, одному из вариантов стратегического развития фирмы), Z1, Z2,...,Zn второму (другому варианту такого развития). Как сравнивать эти совокупности? Очевидно, самый простой способ - по средним значениям.

А как вычислять средние? Известны различные виды средних величин: среднее арифметическое, медиана, мода, среднее геометрическое, среднее гармоническое, среднее квадратическое. Напомним, что общее понятие средней величины введено французским математиком первой половины ХIХ в. академиком О. Коши. Оно таково: средней величиной является любая функция f(X1, X2,...,Xn) такая, что при всех возможных значениях аргументов значение этой функции не меньше, чем минимальное из чисел X1, X2,...,Xn, и не больше, чем максимальное из этих чисел. Все перечисленные выше виды средних являются средними по Коши.

При допустимом преобразовании шкалы значение средней величины, очевидно, меняется.

Но выводы о том, для какой совокупности среднее больше, а для какой - меньше, не должны меняться (в соответствии с требованием инвариантности выводов, принятом как основное требование в теории измерений). Сформулируем соответствующую математическую задачу поиска вида средних величин, результат сравнения которых устойчив относительно допустимых преобразований шкалы.

Пусть f(X1, X2,...,Xn) - среднее по Коши. Пусть среднее по первой совокупности меньше среднего по второй совокупности:

Тогда согласно теории измерений для устойчивости результата сравнения средних необходимо, чтобы для любого допустимого преобразования g из группы допустимых преобразований в соответствующей шкале было справедливо также неравенство т.е. среднее преобразованных значений из первой совокупности также было меньше среднего преобразованных значений для второй совокупности. Причем сформулированное условие должно быть верно для любых двух совокупностей Y1, Y2,...,Yn и Z1, Z2,...,Zn. И, напомним, для любого допустимого преобразования. Средние величины, удовлетворяющие сформулированному условию, назовем допустимыми (в соответствующей шкале). Согласно теории измерений только такими средними можно пользоваться при анализе мнений экспертов и иных данных, измеренных в рассматриваемой шкале.

С помощью математической теории, развитой в монографии [7], удается описать вид допустимых средних в основных шкалах. Сразу ясно, что для данных, измеренных в шкале наименований, в качестве среднего годится только мода.

Средние величины в порядковой шкале. Рассмотрим обработку, для определенности, мнений экспертов, измеренных в порядковой шкале. Справедливо следующее утверждение.

Теорема 1. Из всех средних по Коши допустимыми средними в порядковой шкале являются только члены вариационного ряда (порядковые статистики).

Теорема 1 справедлива при условии, что среднее f(X1, X2,...,Xn) является непрерывной (по совокупности переменных) и симметрической функцией. Последнее означает, что при перестановке аргументов значение функции f(X1, X2,...,Xn) не меняется. Это условие является вполне естественным, ибо среднюю величину мы находим для совокупности (множества), а не для последовательности. Множество не меняется в зависимости от того, в какой последовательности мы перечисляем его элементы.

Согласно теореме 1 в качестве среднего для данных, измеренных в порядковой шкале, можно использовать, в частности, медиану (при нечетном объеме выборки). При четном же объеме следует применять один из двух центральных членов вариационного ряда - как их иногда называют, левую медиану или правую медиану. Моду тоже можно использовать - она всегда является членом вариационного ряда. Но никогда нельзя рассчитывать среднее арифметическое, среднее геометрическое и т.д.

Приведем численный пример, показывающий некорректность использования среднего арифметического f(X1, X2) = (X1 + X2)/2 в порядковой шкале. Пусть Y1= 1, Y2 = 11, Z1= 6, Z2= 8. Тогда f(Y1, Y2) = 6, что меньше, чем f(Z1, Z2) = 7. Пусть строго возрастающее преобразование g таково, что g(1) = 1, g(6) = 6, g(8) = 8, g(11) = 99. Таких преобразований много. Например, можно положить g(x) = x при x, не превосходящих 8, и g(x) = 99(x-8)/3 + 8 для х, больших 8. Тогда f(g(Y1), g(Y2)) = 50, что больше, чем f(g(Z1), g(Z2)) = 7. Как видим, в результате допустимого, т.е. строго возрастающего преобразования шкалы упорядоченность средних величин изменилась.

Таким образом, теория измерений выносит жесткий приговор среднему арифметическому использовать его с порядковой шкале нельзя. Однако же те, кто не знает теории измерений, используют его. Всегда ли они ошибаются? Оказывается, можно в какой-то мере реабилитировать среднее арифметическое, если перейти к вероятностной постановке и к тому же удовлетвориться результатами для больших объемов выборок. В монографии [7] получено также следующее утверждение.

Теорема 2. Пусть Y1, Y2,..., Ym - независимые одинаково распределенные случайные величины с функцией распределения F(x), а Z1, Z2,..., Zn - независимые одинаково распределенные случайные величины с функцией распределения H(x), причем выборки Y1, Y2,..., Ym и Z1, Z2,..., Zn независимы между собой и МY1 > MZ1. Для того, чтобы вероятность события стремилась к 1 при min(m, n) для любой строго возрастающей непрерывной функции g, удовлетворяющей условию необходимо и достаточно, чтобы при всех x выполнялось неравенство F(x) 1, соответственно a= 1/2. Подставляя в формулы (1), получаем, что Следовательно, распределение нормированной и центрированной статистики Вилкоксона при росте объемов выборок приближается к стандартному нормальному распределению (с математическим ожиданием 0 и дисперсией 1).

Из асимптотической нормальности статистики Т следует, что правило принятия решения для критерия Вилкоксона выглядит так:

- если |T| < (1 ), то гипотеза (2) однородности (тождества) функций распределений принимается на уровне значимости, - если же |T| > (1 ), то гипотеза (2) однородности (тождества) функций распределений отклоняется на уровне значимости.

В прикладной статистике наиболее часто применяется уровень значимости = 0,05. Тогда значением (1 ) = 1,96.

Пример 1. Пусть даны две выборки. Первая содержит m = 12 элементов 17; 22; 3; 5; 15; 2; 0;

7; 13; 97; 66; 14. Вторая содержит n=14 элементов 47; 30; 2; 15; 1; 21; 25; 7; 44; 29; 33; 11; 6; 15.

Проведем проверку однородности функций распределения двух выборок с помощью критерия Вилкоксона.

Первым шагом является построение общего вариационного ряда для элементов двух выборок (табл.1).

выборок выборок выборок выборок Хотя с точки зрения теории математической статистики вероятность совпадения двух элементов выборок равна 0, в реальных выборках экономических данных совпадения встречаются.

Так, в рассматриваемых выборках, как видно из табл.1, два раза повторяется величина 2, два раза величина 7 и три раза - величина 15. В таких случаях говорят о наличии "связанных рангов", а соответствующим совпадающим величинам приписывают среднее арифметическое тех рангов которые они занимают. Так, величины 2 и 2 занимают в объединенной выборке места 3 и 4, поэтому им приписывается ранг (3+4)/2=3,5. Величины 7 и 7 занимают в объединенной выборке места 8 и 9, поэтому им приписывается ранг (8+9)/2=8,5. Величины 15, 15 и 15 занимают в объединенной выборке места 13, 14 и 15, поэтому им приписывается ранг (13+14+15)/3=14.

Следующий шаг - подсчет значения статистики Вилкоксона, т.е. суммы рангов элементов первой выборки S = R1 + R2 +... + Rm = 1+3,5+5+6+8,5+11+12+14+16+18+25+26=146.

Подсчитаем также сумму рангов элементов второй выборки S1 = 2+3,5+7+8,5+10+14+14+17+19+20+21+22+23+24= 205.

Величина S1 может быть использована для контроля вычислений. Дело в том, что суммы рангов элементов первой выборки S и второй выборки S1 вместе составляют сумму рангов объединенной выборки, т.е. сумму всех натуральных чисел от 1 до m+n. Следовательно, В соответствии с ранее проведенными расчетами S+S1 = 146+205=351. Необходимое условие правильности расчетов выполнено. Ясно, что справедливость этого условия не гарантирует правильности расчетов.

Перейдем к расчету статистики Т. Согласно формуле (3) Следовательно, Поскольку |T| (12m n (2n+1) - 1) 1/2 |1/2 - a|, а потому |M(T)| безгранично растет при росте объемов выборок. В то же время, поскольку Очевидно, что медиана F(x) равна, а медиана G(x) равна 1/2.

Согласно соотношению (9) для выполнения гипотезы (6) достаточно определить как функцию, = ( ), из условия Вычисления дают Учитывая, что лежит между и 1, не совпадая ни с тем, ни с другим, получаем ограничения на, а именно, 1/3 < < 3/5. Итак, построено искомое семейство пар функций распределения.

Пример 4. Пусть, как и в примере 3, распределения сосредоточены на интервале (0; 1), и на нем F(x)=x. А G(x) - функция распределения, сосредоточенного в двух точках - и 1. Т.е. G(x) = при x, не превосходящем ; G(x) = h на ( ; 1]; G(x) = 1 при x > 1. С такой функцией G(x) легко проводить расчеты. Однако она не удовлетворяет принятым выше условиям непрерывности и строгого возрастания. Вместе с тем легко видеть, что она является предельной (сходимость в каждой точке отрезка [0; 1]) для последовательности функций распределения, удовлетворяющих этим условиям. А распределение статистики Вилкоксона для пары функций распределения примера 4 является предельным для последовательности соответствующих распределений статистики Вилкоксона, полученных в рассматриваемых условиях непрерывности и строгого возрастания.

Условие P(X < Y) = 1/2 выполнено, если h = (1 - )-1 / 2 (при из отрезка [0; 1/2] ).

Поскольку h > 1/2 при положительном, то очевидно, что медиана G(x) равна, в то время как медиана F(x) равна 1/2. Значит, при = 1/2 медианы совпадают, при всех иных положительных - различны. При = 0 медианой G(x) является любая точка из отрезка [0; 1].

Легко подсчитать, что в условиях примера 4 параметры предельного распределения имеют вид Следовательно, распределение нормированной и центрированной статистики Вилкоксона будет асимптотически нормальным с математическим ожиданием 0 и дисперсией Проанализируем величину D(T) в зависимости от параметра и объемов выборок m и n.

При достаточно больших m и n с точностью до величин порядка (m+n)-1, где w= n/(m+n). Значит, D(T) - линейная функция от w, а потому достигает экстремальных значений на границах интервала изменения w, т.е. при w = 0 и w = 1. Легко видеть, что при (1- )-1 1-2 максимум равен 3 (1- )-1 (при w = 1), а минимум равен 3(1 - 2 ) (при w = 0). Если же (1- )-1 =1-2 (это равенство справедливо при = 0 = 1 - 2-1/2 = 0,293), то D(T)=3 (21/2-1)=1,2426... при всех w из отрезка [0; 1].

Первый из описанных выше случаев имеет быть при < 0, при этом минимум D(T) возрастает от 0 (при =0, w=1 - предельный случай) до 3(21/2 - 1) (при = 0, w - любом), а максимум уменьшается от 3 (при =0, w=0 - предельный случай) до 3 (21/2 - 1) (при = 0, w любом). Второй случай относится к из интервала ( 0 ; 1/2]. При этом минимум убывает от приведенного выше значения для = 0 до 0 (при =1/2, w=0 - предельный случай), а максимум возрастает от того же значения при = 0 до 3 (при =1/2, w=0).

Таким образом, D(T) может принимать все значения из интервала (0; 3) в зависимости от значений и w. Если D(T) < 1, то при применении критерия Вилкоксона к выборкам с рассматриваемыми функциями распределения гипотеза однородности (2) будет приниматься чаще (при соответствующих значениях и w - с вероятностью, сколь угодно близкой к 1), чем если бы она самом деле была верна. Если 10) Очевидно, - пятка f - это окрестность Argmin(f) (если он достигается), заданная в терминах минимизируемой функции. Тем самым снимается вопрос о выборе метрики в пространстве X.

Тогда при некоторых условиях регулярности для любого >0 вероятность события стремится к 1 при n, т.е. справедлив закон больших чисел. Подробное доказательство приведено в главе 2.1.

Естественное обобщение рассматриваемой задачи позволяет построить общую теорию оптимизационного подхода в статистике. Как известно, большинство задач прикладной статистики может быть представлено в качестве оптимизационных. Как себя ведут решения экстремальных задач? Частные случаи этой постановки: как ведут себя при росте объема выборки оценки максимального правдоподобия и минимального контраста (в том числе робастные в смысле Тьюки - Хьюбера - см. главу 2.2)? Что можно сказать о поведении оценок нагрузок в факторном анализе и методе главных компонент при отсутствии нормальности, об оценках метода наименьших модулей в регрессии и т.д.?

Обычно легко устанавливается, что для некоторых пространств X и последовательности случайных функций.fn(x) при. n найдется функция f(x) такая, что для любого x X (сходимость по вероятности). Требуется вывести отсюда, что т.е. решения экстремальных задач также сходятся. Понятие сходимости в соотношении (8) уточняется, например, с помощью -пяток, как это сделано выше для закона больших чисел.

Условия регулярности, при которых справедливо предельное соотношение (8), приведены в исследовании [11]. Практически для всех реальных задач эти условия выполняются.

Как оценить распределение случайного элемента в пространстве общей природы?

Поскольку понятие функции распределения неприменимо, естественно использовать непараметрические оценки плотности. Что такое плотность распределения вероятностей в пространстве произвольной природы? Это функция g : X [0,+) такая, что для любого измеримого множества (т.е. случайного события) A X справедливо соотношение где. µ - некоторая мера в X. Ряд непараметрических оценок плотности был предложен в работе [2].

Например, ядерной оценкой плотности является оценка где d - показатель различия; H - ядерная функция; hn - последовательность положительных чисел;

(hn, x) - нормирующий множитель. Удалось установить, что, что статистики типа (10) обладают такими же свойствами, по крайней мере при фиксированном x, что и их классические аналоги при X = R1. В частности, такой же скоростью сходимости. Некоторые изменения необходимы при рассмотрении дискретных X, каковыми являются многие пространства конкретных объектов нечисловой природы (см. главу 2.1). С помощью непараметрических оценок плотности можно развивать регрессионный анализ, дискриминантный анализ и другие направления в пространствах общей природы.

Для проверки гипотез согласия, однородности, независимости в пространствах общей природы могут быть использованы статистики интегрального типа где f n ( x, ) -последовательность случайных функций на X; Fn ( x, ) - последовательность случайных распределений (или зарядов). Обычно f n ( x, ) при n сходится по распределению к некоторой случайной функции f ( x, ), а Fn ( x, ) - к распределению F(x). Тогда распределение статистики интегрального типа (11) сходится к распределению случайного элемента Условия, при которых это справедливо, даны в главе 2.3 на основе работы [12]. Пример применения - вывод предельного распределения статистики типа омега-квадрат для проверки симметрии распределения (см. главу 3.1).

Перейдем к статистике конкретных видов объектов нечисловой природы.

Теория измерений. Цель теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам. Так, расстояния можно измерять в верстах, аршинах, саженях, метрах, микронах, милях, парсеках и других единицах измерения.

Выбор единиц измерения зависит от исследователя, т.е. субъективен. Статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую именно единицу измерения предпочтет исследователь, т.е. когда они инвариантны относительно допустимого преобразования шкалы.

Теория измерений известна в нашей стране уже более 30 лет. С начала семидесятых годов активно работают отечественные исследователи. В настоящее время изложение основ теории измерений включают в справочные издания, помещают в научно-популярные журналы и книги для детей. Однако она еще не стала общеизвестной среди специалистов, в частности, среди метрологов. Поэтому опишем одну из задач теории измерений (ср. главу 3.1).

Как известно, шкала задается группой допустимых преобразований (прямой в себя).

Номинальная шкала (шкала наименований) задается группой всех взаимно-однозначных преобразований, шкала порядка - группой всех строго возрастающих преобразований. Это - шкалы качественных признаков. Группа линейных возрастающих преобразований ( x) = ax + b, a > 0, задает шкалу интервалов. Группа ( x) = ax, a > 0, определяет шкалу отношений. Наконец, группа, состоящая из одного тождественного преобразования, описывает абсолютную шкалу. Это - шкалы количественных признаков. Используют и некоторые другие шкалы.

Практическую пользу теории измерений обычно демонстрируют на примере задачи сравнения средних значений для двух совокупностей одинакового объема x1, x2,…,xn и y1, y2,…,yn.

Пусть среднее вычисляется с помощью функции f : R n R 1. Если то необходимо, чтобы для любого допустимого преобразования из задающей шкалу группы. (В противном случае результат сравнения будет зависеть от того, какое из эквивалентных представлений шкалы выбрал исследователь.) Требование равносильности неравенств (13) и (14) вместе с некоторыми условиями регулярности приводят к тому, что в порядковой шкале в качестве средних можно использовать только члены вариационного ряда, в частности, медиану, но нельзя использовать среднее геометрическое, среднее арифметическое, и т.д. В количественных шкалах это требование выделяет из всех обобщенных средних по А.Н. Колмогорову в шкале интервалов - только среднее арифметическое, а в шкале отношений - только степенные средние. Кроме средних, аналогичные задачи рассмотрены в статистике нечисловых данных для расстояний, мер связи случайных признаков и других процедур анализа данных.

Приведенные результаты о средних величинах применялись, например, при проектировании системы датчиков в АСУ ТП доменных печей. Велико прикладное значение теории измерений в задачах стандартизации и управления качеством, в частности, в квалиметрии.

Так, В.В. Подиновский показал, что любое изменение коэффициентов весомости единичных показателей качества продукции приводит к изменению упорядочения изделий по средневзвешенному показателю, а Н.В. Хованов развил одну из возможных теорий шкал измерения качества. Теория измерений полезна и в других прикладных областях.

Статистика бинарных отношений. Оценивание центра распределения случайного бинарного отношения проводят обычно с помощью медианы Кемени. Состоятельность вытекает из закона больших чисел [1]. Разработаны различные вычислительные процедуры нахождения медианы Кемени.

Методы проверки гипотез развиты отдельно для каждой разновидности бинарных отношений. В области статистики ранжировок, или ранговой корреляции, классической является книга Кендалла [13]. Современные достижения отражены в работах Ю.Н.Тюрина и Д.С.

Шмерлинга. Статистика случайных разбиений развита А.В.Маамяги. Статистика случайных толерантностей (рефлексивных симметричных отношений) впервые изложена в работе [1].

Многие ее задачи являются частными случаями задач теории люсианов.

Теория люсианов (бернуллиевских векторов). Люсиан (бернуллиевский вектор) - это последовательность испытаний Бернулли с, вообще говоря, различными вероятностями успеха.

Реализация люсиана (бернуллиевского вектора) - это последовательность из 0 и 1. Люсианы (бернуллиевские вектора) рассматривались при статистическом анализе случайных множеств с независимыми элементами, а также результатов независимых парных сравнений.

Последовательность результатов контроля качества последовательности единиц продукции по альтернативному признаку - также реализация люсиана (бернуллиевского вектора). Случайная толерантность может быть записана в виде люсиана. Поскольку один и тот же математический объект необходим в различных областях, естественно для его наименования применять специально введенный термин "бернуллиевский вектор". Используется также более краткий термин "люсиан".

В рассматриваемой теории изучают методы проверки согласованности (одинаковой распределенности), однородности двух выборок, независимости люсианов. Методы проверки указанных гипотез нацелены на ситуацию, когда число бернуллиевских векторов фиксировано, а их длина растет. При этом число неизвестных параметров возрастает пропорционально объему данных, т.е. теория построена в асимптотике растущего числа параметров. Ранее подобная асимптотика под названием асимптотики А.Н.Колмогорова использовалась в дискриминантном анализе, но там применялись совсем другие методы для решения иных задач прикладной статистики.

Непараметрическая теория парных сравнений (в предположении независимости результатов отдельных сравнений) - часть теории бернуллиевских векторов. Параметрическая теория связана в основном с попытками выразить вероятности того или иного исхода через значения гипотетических или реальных параметров сравниваемых объектов. Известны модели Терстоуна, Бредли-Терри-Льюса и др. В нашей стране построен ряд новых моделей парных сравнений. В частности, имеются модели парных сравнений с тремя исходами (больше, меньше, неразличимо), модели зависимых сравнений, сравнений нескольких объектов (сближающие рассматриваемую область с теорией случайных ранжировок) и т.д.

Статистика случайных и нечетких множеств. Давнюю историю имеет статистика случайных геометрических объектов (отрезков, треугольников, кругов и т.д.). Современная теория случайных множеств сложилась при изучении пористых сред и объектов сложной природы в таких областях, как металлография, петрография, биология. Различные направления внутри этой теории рассмотрены в работе [1, гл.4]. Остановимся на двух.

Случайные множества, лежащие в евклидовом пространстве, можно складывать: сумма множеств A и B- - это объединение всех векторов x+y, где x A, y B. Н.Н. Ляшенко получил аналоги законов больших чисел, центральной предельной теоремы, ряда методов прикладной статистики, систематически используя подобные суммы.

Для статистики объектов нечисловой природы интереснее подмножества пространств, не являющихся линейными. В работе [1] рассмотрены некоторые задачи теории конечных случайных множеств. Позже ряд интересных результатов получил С.А. Ковязин, в частности, он доказал нашу гипотезу о справедливости закона больших чисел при использовании расстояния между множествами где µ - некоторая мера; - знак симметрической разности. Расстояние (15) выведено из некоторой системы аксиом в монографии [1]. Прикладники также делают попытки развивать и применять методы статистики случайных множеств.

С теорией случайных множеств тесно связана теория нечетких множеств, начало которой положено статьей Л.А.Заде 1965 г. Это направление прикладной математики получило бурное развитие - к настоящему времени число публикаций измеряется десятками тысяч, имеются международные журналы, постоянно проводятся конференции, практические приложения дали ощутимый технико-экономический эффект. При изложении теории нечетких множеств обычно не подчеркивается связь с вероятностными моделями. Между тем еще в первой половине 1970-х годов было установлено [1], что теория нечеткости в определенном смысле сводится к теории случайных множеств, хотя эта связь, возможно, имеет лишь теоретическое значение.

С точки зрения статистики нечисловых данных нечеткие множества - лишь один из видов объектов нечисловой природы. Поэтому к ним применима общая теория, развитая для пространств произвольной природы. Имеются работы, в которых совместно используются соображения вероятности и нечеткости.

Многомерное шкалирование и аксиоматическое введение метрик. Многомерное шкалирование имеет целью представление объектов точками в пространстве небольшой размерности (1 - 3) с максимально возможным сохранением расстояний между точками.

Из сказанного выше ясно, какое большое место занимают в статистике объектов нечисловой природы метрики (расстояния). Как их выбрать? Предлагают выводить вид метрик из некоторых систем аксиом. Аксиоматически получена метрика в пространстве ранжировок, которая оказалась линейно связанной с коэффициентом ранговой корреляции Кендалла. Метрика (15) в пространстве множеств получена в работе [3] также исходя из некоторой системы аксиом.

Г.В. Раушенбахом [14] дана сводка по аксиоматическому подходу к введению метрик в пространствах нечисловой природы. К настоящему времени практически для каждой используемой в прикладных работах метрики удалось подобрать систему аксиом, из которой чисто математическими средствами можно вывести именно эту метрику.

Применения статистики объектов нечисловой природы. Идеи, подходы, результаты статистики объектов нечисловой природы оказались полезными и в классических областях прикладной статистики. Статистика в пространствах общей природы позволила с единых позиций рассмотреть всю прикладную статистику, в частности, показать, что регрессионный, дисперсионный и дискриминантный анализы являются частными случаями общей схемы регрессионного анализа в пространстве произвольной природы. Поскольку структура модели объект нечисловой природы, то ее оценивание, в частности, оценивание степени полинома в регрессии, также относится к статистике нечисловых данных. Если учесть, что результаты измерения всегда имеют погрешность, т.е. являются не числами, а интервалами или нечеткими множествами, то приходим к необходимости пересмотреть некоторые выводы теоретической статистики. Например, отсутствует состоятельность оценок, нецелесообразно увеличивать объем выборок сверх некоторого предела (см. главу 3.5).

Технико-экономическая эффективность от применения методов статистики нечисловых данных достаточно высока. К сожалению, из-за изменения экономической ситуации, в частности, из-за инфляции трудно сопоставить конкретные экономические результаты в разные моменты времени. Кроме того, методы статистики объектов нечисловой природы составляют часть методов прикладной статистики. А те, в свою очередь - часть методов, входящих в систему информационной поддержки принятия решений на предприятии. Какую часть приращения прибыли предприятия надо отнести на эту систему? Мы знаем, как работает система управления фирмой в настоящем виде. Но можем только гадать (а точнее, оценивать, скорее всего, с помощью экспертных оценок), каковы были бы результаты финансово-хозяйственной деятельности предприятия, если бы система управления фирмой была бы иной, например, не содержала методов статистики объектов нечисловой природы.

Статистика объектов нечисловой природы как часть прикладной статистики продолжает бурно развиваться. В частности, увеличивается количество ее практически полезных применений при анализе конкретных экономических данных - в маркетинговых исследованиях, контроллинге, при управлении предприятием и др.

В прикладных исследованиях обычно используют три конкретных вида бинарных отношений – ранжировки, разбиения и толерантности. Статистические теории ранжировок [13] и разбиений [15] достаточно сложны с математиче6ской точки зрения. Поэтому продвинуться удается не очень далеко. Теория случайных ранжировок, в частности, изучает в основном равномерные распределения на множестве ранжировок. Теория случайных толерантностей позволяет рассмотреть более общие ситуации. Это объясняется, грубо говоря, тем, что для теории толерантностей оказываются полезными суммы некоторых независимых случайных величин, а для теории ранжировок и разбиений аналогичные случайные величины зависимы. Теория случайных толерантностей является частным случаем теории люсианов, рассматриваемой в подразделе 3.4.3. Здесь приводим результаты, специфичные именно для толерантностей.

Пусть X - конечное множество из k элементов. Толерантность А на множестве Х, как и любое бинарное отношение, однозначно описывается матрицей ||a(i, j)||, 1 < i, j < k, где a(i, j) = 1, если элементы с номерами i и j связаны отношением толерантности, и a(i, j) = 0 в противном случае. Поскольку толерантность – это рефлексивное и симметричное бинарное отношение, то достаточно рассматривать часть матрицы, лежащую над главной диагональю: ||a(i, j), 1 < i 0 такая, что в смысле сходимости по вероятности Соотношение (2) доказывается отдельно для каждой конкретной задачи.

При использовании классических эконометрических методов в большинстве случаев используемая статистика f(x) является асимптотически нормальной. Это означает, что существуют константы а и 2 такие, что где (x) функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. При этом обычно оказывается, что а потому в классической эконометрике средний квадрат ошибки статистической оценки равен с точностью до членов более высокого порядка.

В статистике интервальных данных ситуация совсем иная - обычно можно доказать, что средний квадрат ошибки равен Из соотношения (3) можно сделать ряд важных следствий. Прежде всего отметим, что правая часть этого равенства, в отличие от правой части соответствующего классического равенства, не стремится к 0 при безграничном возрастании объема выборки. Она остается больше некоторого положительного числа, а именно, квадрата нотны. Следовательно, статистика f(x) не является состоятельной оценкой параметра a. Более того, состоятельных оценок вообще не существует.

Пусть доверительным интервалом для параметра a, соответствующим заданной доверительной вероятности, в классической математической статистике является интервал (cn ( ); d n ( )). В статистике интервальных данных аналогичный доверительный интервал является более широким. Он имеет вид (c n ( ) N f ( y ); d n ( ) + N f ( y )). Таким образом, его длина увеличивается на две нотны. Следовательно, при увеличении объема выборки длина доверительного интервала не может стать меньше, чем 2C (см. формулу (2)).