«Е.В. Черепанов МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ НЕОДНОРОДНЫХ СОВОКУПНОСТЕЙ ЭКОНОМИЧЕСКИХ ДАННЫХ Москва 2013 УДК 519.86 ББК 65.050 Ч 467 Черепанов Евгений Васильевич. Математическое моделирование неоднородных совокупностей ...»

Министерство образования и науки Российской Федерации

Московский государственный университет экономики,

статистики и информатики (МЭСИ)

Е.В. Черепанов

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

НЕОДНОРОДНЫХ СОВОКУПНОСТЕЙ

ЭКОНОМИЧЕСКИХ ДАННЫХ

Москва 2013

УДК 519.86

ББК 65.050

Ч 467

Черепанов Евгений Васильевич. Математическое моделирование неоднородных совокупностей экономических данных. Монография / Московский государственный университет экономики, статистики и информатики (МЭСИ). – М., 2013. – С. 229.

Рецензенты:

Мхитарян В.С., д.э.н., проф. руководитель департамента статистики и анализа данных НИУ ВШЭ;

Вартазарова Л.С., д.э.н., зам. Генерального директора Информационно-аналитического агентства «МиК - Маркетинг и Консалтинг»

В монографии изложен материал по использованию стохастических методов при математическом моделировании неоднородных совокупностей экономических данных по случайным выборкам.

Рассмотрены задачи статистического оценивания частот встречаемости качественных (нечисловых) признаков в неоднородной совокупности, непараметрического полиграммного оценивания функционалов, зависящих от (аналитически неизвестного) распределения, задача выявления недостающих и неточных данных в эмпирических таблицах показателей, задачи экстраполирования последовательностей экономических показателей по короткой ретроспективе наблюдения и статистической классификации.

Отдельно стоит пятая главу, где изложен не имеющий мировых аналогов подход, который позволяет с единой позиции рассмотреть основные характеристики потребления и производства (торговли) на рынке конкурентных товаров. Пока этот подход разработан лишь теоретически, в связи с чем требует обсуждения и дальнейшего развития.

Для специалистов по эконометрике, математической экономике и компьютерной обработки результатов выборочных обследований, а также аспирантов и студентов старших курсов этих специальностей.

© Московский государственный университет ISBN 978-5-7764-0775- экономики, статистики и информатики, © Черепанов Евгений Васильевич,

СОДЕРЖАНИЕ

Введение

Глава 1. Стохастические методы в социально-экономических исследованиях: состояние и направления развития

1.1. Специфика использования стохастического формализма в маркетинговых и социально-экономических исследованиях

1.2. Дихотомизация описания социально-экономических систем как основной принцип работы с эмпирическими нечисловыми данными........ 1.3. Проблема полноты и достоверности таблиц эмпирических данных.

Статистическое прогнозирование в экономических и технико-экономических исследованиях

1.4. Статистическая классификация многомерных объектов.

Соотношение понятий неопределенности, нечеткости и случайности............. Выводы по главе 1

Глава 2. Многомерные обобщения гипергеометрического распределения и их асимптотика как основа изучения неоднородных (структурированных) множеств

2.1. Многомерные обобщения гипергеометрического распределения (ГГР).......... 2.2. Случайные и квотные оценки в социальных исследованиях и маркетинге потребительских рынков

2.3. Полиномиальное распределение (ПР) и его обобщения

2.4. Непрерывные аналоги распределений полиномиального типа

Выводы по главе 2

Глава 3. Статистические оценки частот встречаемости булевых признаков по случайной неоднородной выборке.

Непараметрические полиграммные оценки

3.1. Статистические оценки частот встречаемости булевых признаков по случайной неоднородной выборке с использованием МГГР

3.2. Статистические оценки частот встречаемости дихотомических признаков для категорий населения

3.3. Метод группового анкетирования на «малых выборках»

3.4. Полиграммные оценки и их использование при анализе непрерывных распределений экономических показателей

Выводы по главе 3

Глава 4. Статистические методы выборочного оценивания в задачах социально-экономических исследований

4.1. Анализ полноты и достоверности данных в эмпирических таблицах значений экономических показателей

4.2. Непараметрическое прогнозирование и статистическое планирование экономической динамики

4.3. Типологическое пространство, функция сходства и анализ уровня экономических объектов

4.4. Статистическая классификация многомерных экономических и технических систем

Выводы по главе 4

Глава 5. Теоретико-математические основы маркетинга потребительских рынков

5.1. Потребление на многотоварном конкурентном рынке

5.2. Критерий максимизация прибыли продавца

5.3. Издержки продавца (производителя)

5.4. Зависимости между категориями потребления

Выводы по главе 5

Глава 6. Статистический анализ потребительских предпочтений (на примере московского рынка табачной продукции

6.1. Оценка потребления марок табачной продукции

6.2. Структура потребления табачной продукции

6.3. Структура потребления в социальных «разрезах»

6.4. Оценка количества выкуриваемого табака в день и предпочтения москвичей по крепости табачных изделий

Выводы по главе 6

Заключение

Библиографические ссылки

ВВЕДЕНИЕ

Экономика, по своей природе, наука стохастическая, что отмечал еще основоположник современной теории потребления У. Джевонс: «Законы экономики носят настолько сложный характер, что проявляются только для совокупностей и должны изучаться методом средних» [296]. В «переводе» на современный язык это значит:

«Экономические законы носят вероятностный характер и должны изучаться статистическими методами».

Одно из основных направлений использования математики в эконометрических и прикладных социально-экономических работах основано на выборочном методе. Но любые выборочные методики базируются на законе больших чисел, который (в форме теоремы Я. Бернулли [28]) утверждает, что выборочные частоты встречаемости качественных признаков асимптотически сходятся к истинным значениям соответствующих вероятностей. Но этот непараметрический факт априори предполагает наличие большой серии независимых и однородных наблюдений.

А социум (население, покупатели, электорат) практически всегда является неоднородным множеством (структурированным по различным номинальным шкалам).

В такой ситуации в эмпирических исследованиях решить проблему неоднородности (структурированности) наблюдений (совокупностей населения, потребителей, избирателей) можно на основе одного из двух подходов:

создав квотную выборку, репрезентативную по основным априорным классификациям структуре изучаемой совокупности;

математически корректно учесть при компьютерной обработке данных различия между структурами выборочного ансамбля и исследуемой генеральной совокупности.

Собственно, в 30-е гг. ХХ века, когда отсутствовала вычислительная техника, у пионеров выборочных исследований и выбора фактически не было: раз считать условные вероятности не на чем, будем строить квотные выборки. Так квотная методология выборочных исследований просуществовала в почти неизменном виде до наших дней. В 70-е гг. ХХ века появились компьютеры, но их применение для обработки эмпирических данных свелось, почти исключительно, к использованию методов классической статистики, заимствованных из физических наук.

Квотная методология выборочных исследований, а также «стандартные» компьютерные методы обработки эмпирических данных сводятся к использованию процедур классической статистики в предположении, что связанные с неоднородностью данных проблемы решены на этапе формирования квотной выборки. Однако квотный подход в принципе не может дать оценок частот встречаемости качественных признаков по категориям априорных классификаций.

Кроме того, создание квотной выборки для населения, проживающего на большой территории, даже по 3 - 4 номинальным шкалам (как видно, например, из монографий Ф. Йейтса [82], Л. Киша [298] и статьи М.С. Косолапова [99]) дело весьма дорогостоящее, методически сложное, а иногда и практически нереализуемое. Причем, при формировании квотной выборки неизбежно не учитываются многие классификации, создающие значимую неоднородность выборочного ансамбля, и тем самым, внося в выборочные оценки погрешности, которые не поддаются количественному анализу.

Второй подход, связанный со строгим математическим учетом различий в структурах исследуемой неоднородной совокупности и выборочного ансамбля из ее элементов, пока не нашел в мировой практике заметного развития. Решению этой проблемы и посвящена большая часть предлагаемой монографии.

Выборочные методологии сегодня являются основным инструментарием эконометрических, социально-экономических, маркетинговых и политологических исследований эмпирического характера. Причем теоретической базой любой статистической процедуры служат асимптотические свойства выборочных статистик, что позволяет считать теорию вероятностей основой всей выборочной методологии. Стоит отметить, что еще А.Н. Колмогоров подчеркивал 1: «… теория вероятностей начинается с закона больших чисел Я. Бернулли и найденного вскоре после этого Муавром нормального приближения к биномиальному распределению». Но, схема испытаний Бернулли предполагает абсолютную идентичность условий опытов. А в социально-экономических и эконометрических работах однородные выборочные ансамбли встречаются крайне редко.

Статистическая теория, развиваемая в фишеровских традициях [291], и выборочная методология, включая аспекты анализа эмпирических данных, долгое время обеспечивали фактографическую основу прикладных работ. Однако, в силу специфики стохастического анализа многих реальных данных (неоднородность и малые объемы выборок, наличие «выбросов», ошибки в таблицах данных, наличие смесей распределений и др.), классические статистические процедуры, резко теряя свою эффективность в эмпирических исследованиях, оказываются малопригодными для обработки реальных эконометрических и социально-экономических данных.

До 60-х гг. ХХ века применение математических и стохастических методов в эконометрических, социально-экономических и маркетинговых исследованиях носило весьма бессистемный характер, а используемые методы и процедуры «заимствовались» из математической физики.

При этом вопрос о корректности и границах применимости используемых статистических методов в приложениях практически рассматривался крайне редко [186,187]. В этой связи Норберт Винер отмечал: «Успехи математической физики вызвали у социологов и экономистов чувство ревности к силе ее методов. Чувство, которое едва ли сопровождалось отчетливым пониманием интеллектуальных истоков этой силы» [39].

Из предисловия к юбилейному изданию трактата Якоба Бернулли [28].

В 70-80-е гг. ХХ в. стали отличать методы прикладной статистики (которую на Западе чаще называют анализом данных) от методов математической статистики. Как отмечает А.И. Орлов [138], именно в это двадцатилетие была наработана основная база методов анализа данных, используемая в современных статистических методиках.

Выделились четыре направления разработки процедур прикладной статистики и анализа реальных (в том числе, эконометрических и социально-экономических) данных:

устойчивых к нарушениям априорных предпосылок (непараметрических и робастных) процедур оценивания моментов и характеристик непрерывных распределений;

измерения и анализа качественных (нечисловых) показателей (признаков);

классификации сложных многомерных объектов и систем;

прогнозирования многомерных последовательностей показателей.

Но, к сожалению, классические методы математической статистики до наших дней широко используются в прикладных исследованиях на малых объемах весьма неоднородных данных.

Например, авторы статьи [108], изучив около 200 кандидатских и докторских диссертаций в области медицины и биологии, показали, что в абсолютном большинстве из них статистические методы применялись некорректно.

Большой вклад в развитие прикладной статистики и многомерного анализа данных был внесен западными учеными, среди которых особенно выделяются труды Т. Андерсена [19], П. Бикеля [31, 286], Г. Бокса [287], Г. Бриллинджера [36, 52], Я. Гаека [43, 293], М. Гупты [292], Э. Дидэ [50], Г. Дженкинса [287], Г. Дэйвида [59], М. Кендалла и А. Стюарта [83-86], Р. Литтла [109], Ф. Мостеллера [124], Дж. Тьюки [124, 188, 189, 286, 302, 303], Ф. Хампеля [202, 203, 286, 294], М. Холлиндера и Д. Вульфа [206], П. Хубера [207, 286, 295], также ряда других ученых.

Не менее велик вклад в развитие вероятностно-статистических методов социально-экономических исследований российских ученых С.А. Айвазяна [9-13], М.Г. Дмитриева [51,52], А.М. Дуброва [54,55], А.А. Ершова [64], Э.Б. Ершова [65], Н.Г. Загоруйко [71-74], В.С. Мхитаряна [13,55,126-133], А.И. Орлова [139-141], В.С. Пугачёва [152], Г.В.Раушенбаха [154], Ф.П. Тарасенко [172-175], Ю.Н.

Толстовой [177-184], В.Н. Тутубалина [186,187], Ю.Н. Тюрина [190-193] и ряда других ведущих специалистов.

Важные результаты по развитию стохастического аппарата социально-экономических и социологических исследований, распознаванию образов, статистической классификации, факторному анализу, прогнозированию и смежным вопросам получили Ю.И. Алимов [15-17], В.А. Балаш [25], Г.П. Бессокирная [29, 30], А.Д. Деев [49], Ю.Г. Дмитриев [172], Т.А. Дуброва [56, 57], С.А. Дубровский [58], И.С. Енюков [10-12], Г.С. Жукова [68, 69], И.Г. Журбенко [70], А.О. Крыштановский [103], Г.С. Лбов [106], Ю.П. Лукашин [111, 112], Б.Г. Миркин [121,122], Л.Д. Ме-шалкин [10-12, 117-119], В.И. Паниотто [143], В.Т. Перекрест [144], А.Б. Пересецкий [145], А.Г. Постников [149], П.С. Ростовцев [155], Г.А. Сатаров [162], А.А. Свешников [163,164], С.А.Смоляк и Б.П. Титаренко [169], Ю.К. Устинов [196], А.А. Филиппова [198] и ряд других отечественных учёных.

Заметим, что анализ объектов нечисловой природы лежал в истоках всей стохастической математики (схема испытаний Бернулли, задачи выбора, с возвращением и без него, «разноцветных» шаров из урны). Именно при изучении этих явлений были получены теорема Муавра-Лапласа, биномиальное, Пуассона и гипергеометрическое распределения. А в середине ХХ в. была создана методология статистического анализа качества продукции [123,126], в основе которой лежат труды А.Н. Колмогорова и Б.В. Гнеденко. О современном состоянии нечисловой статистики можно судить по монографиям Ю.Н. Толстовой [180-182] и А.И. Орлова [139-141], а также по статье Ю.Н. Тюрина и Д.С. Шмерлинга [193].

Разработка методов нечисловой статистики неразрывно связана с совершенствованием выборочной методологии. Интересные взгляды на природу случайности и репрезентативности выборочных ансамблей высказывались в работах Ф.Н. Ильясова [81], А.П. Чурикова [280] и М.С. Косолапова [99]. Наиболее полное представление о современных взглядах на проведение выборочных исследований дают известные монографии западных исследований Ф. Йейтса [82], Л. Киша [298] и У. Кокрена [90].

Но и сегодня существует большое число (общих и частных) проблем в методиках анализа реальных социально-экономических данных (как количественных, так и нечисловых).

Изложенные в работе методы анализа неоднородных совокупностей на основе использования случайных выборок позволяют:

значительно повысить точность оценивания и полноту описания предпочтений и ожиданий населения по сравнению с квотными методами при маркетинге потребительских рынков и социальноэкономических обследованиях;

получать количественные результаты при малых объемах выборочных данных, которые невозможно получить при массовом обследовании населения (покупателей, электората), что позволяет повысить адресность и эффективность рекламных и агитационных кампаний, объективность подготовки управленческих решений при проведении социально-экономической политики;

значительно повысить оперативность исследований и существенно снизить затраты на получение фактографической выборочной информации при проведение эконометрических, социальноэкономических, маркетинговых и электоральных исследований за счет случайного формирования выборки.

Изложенный в монографии материал формировался треть века (с 1978 по 2012 гг.) За этот период время автор, в качестве руководителя и непосредственного участника исследований, провел более 50 исследовательских проектов. С 1982 по 1991 гг. было проведено более 20 научно-исследовательских работ (компьютерно-математический анализ данных в технико-экономических исследованиях, анализ и прогнозирование развития радио-электронных технических систем, разработка и обоснование ряда экономических программ и др.) в институтах ВПК СССР.

С 1993 г. по настоящее время были проведены аналитические, социально-экономические и маркетинговые исследования в интересах ряда крупных компаний («Газпром», «Даймлер-Бенц», «Young & Rubicam Inc.», «Регион-Информ», «Пепси-Кола», «Филип Моррис», «Росгосстрах», Саяногорский и Новокузнецкий алюминиевые заводы, «Норильский никель» и др.), ряда крупных газет («АиФ», «Независимая», «Московский комсомолец», «Куранты» и др.), ряда банков и финансово-промышленных групп («Газпромбанк», «Инкомбанк», «Союз-Интеграция», «Менатеп», «Российский Кредит» и др.).

В 1992-1993 гг. по методике, разработанной автором (и описанной в предлагаемой монографии) в режиме реального времени осуществлялось прогнозирование исходов голосований депутатов на VII, VIII и IX Съездах народных депутатов РФ и Конституционном Совещании РФ (1993 г.).

В 1996 году автор был координатором президентской кампании А.И. Лебедя, одновременно осуществляя руководство аналитической работой для этой избирательной кампании. С 1993 по 2001 гг.

были проведены аналитические работы в рамках избирательных кампаний кандидатов в депутаты ГД ФС РФ, губернаторов и мэров в ряде регионов России (Москве, С.-Петербурге, Владимире, Ярославле, Иваново, Мурманске, Пскове, Самаре, Ростове, Новокузнецке, Твери, Кирове, Перми, Красноярске, Иркутске и др., республиках Хакасия и Коми).

В 2011 г. автор руководил и принимал непосредственное участие в исследовании «Особенности региональной специфики и самоидентификации современного казачества Юга России в процессе модернизации гражданского общества» [268, 275-277]. Работа, имея официальный статус «социально значимой», носила комплексный характер и проводилась в качестве президентского гранта в соответствии с распоряжением Президента РФ от 08.05.2010 г. № 300–рп.

Работа состоит из Введения, Заключения, шести глав и списка литературы (305 библиографических ссылок). Каждая глава состоит из четырех разделов, которые, по мере надобности, разделены на пункты. В конце глав кратко сформулированы основные выводы по их содержанию. В Заключении изложены основные результаты проведенных исследований.

Пользуясь случаем, автор выражает глубокую благодарность д.э.н., проф. В.С. Мхитаряну и д.э.н. Л.С. Вартазаровой за многие ценные советы и помощь в работе над этой монографией.

ГЛАВА 1. СТОХАСТИЧЕСКИЕ МЕТОДЫ

В СОЦИАЛЬНО-ЭКОНОМИЧЕСКИХ ИССЛЕДОВАНИЯХ:

СОСТОЯНИЕ И НАПРАВЛЕНИЯ РАЗВИТИЯ

1.1. Специфика использования стохастического формализма в маркетинговых и социально-экономических исследованиях 1.1.1. Математическая и прикладная статистика При практическом использовании количественных методов в эконометрических и социально-экономических исследованиях, как правило, требуется оценить несколько числовых параметров (частоты встречаемости доминант общественного мнения и предпочтений покупателей потребительского рынка, электоральных ожиданий и т.п.). Эти задачи обычно решаются на основе выборочных методик [2, 81, 82, 90, 99, 129-132, 156, 158, 240, 247, 257, 280, 298]. Отметим, что впервые идея выборочного метода, насколько это известно автору, была рассмотрена (в те времена, естественно, только на философском уровне) полтора века назад Огюстом Курно (см. гл.9 его трактата [105]).

Можно утверждать, что «сверхзадачей» прикладной статистики является достаточно точное определение вида распределения на основе имеющихся эмпирических данных (наблюдений выборочного ансамбля). Однако определение (оценка) вида распределения, вопервых, не всегда реальна. Например, в силу малого объема выборочных данных, отсутствия априорных сведений о характере модельного распределения и т.п. Во-вторых, во многих задачах знания распределения и не требуется, а необходимы лишь оценки характеристик этого распределения (моментов, моды, коэффициентов корреляции показателей, значений частот встречаемости признаков и др.).

В этих случаях целью статистической обработки выборочных данных является оценка числовых характеристик распределения случайного вектора и вычисление выборочных статистик.

Статистическое оценивание базируется на законе больших чисел. И это, в частности, означает, что анализируемый случайный выборочный ансамбль должен состоять (теорема Я. Бернулли) из независимых и однородных наблюдений. А условие однородности социально-экономических наблюдений во многих случаях бесспорно не выполняется. Следовательно, важно понимать, в какой мере априорные предпосылки теоремы Я. Бернулли выполняются в конкретной прикладной области исследований. При этом «классические статистические оценки» (выборочное среднее как оценка математического ожидания и стандартное отклонение как оценка корня из дисперсии) являются наилучшими (в широком диапазоне требований) для случая многомерного нормального распределения.

А поскольку математическая статистика долгое время развивалась, главным образом, в связи с проблемой обработки физических измерений, ошибки которых хорошо описываются гауссовой кривой, то методы классической статистики [84,91, 102,107,195,193] базируется на нормальном распределении.

При статистической обработке так называемых «реальных данных», т.е. не относящихся к области измерений в естественных науках, возникает целый ряд принципиальных трудностей [10, 15малые объемы выборок, значительная неоднородность наблюдений, существенные отклонения эмпирических распределений от модельного (обычно, гауссового), наличие неточностей и пропусков значений в таблицах данных, принципиально плохая формализуемость используемых в прикладной работе понятий и категорий.

Но на практике, в эмпирических экономических исследованиях по-прежнему часто используются классические статистические оценки (типа выборочного среднего и стандартного отклонения) на неоднородных данных. Такая ситуация заставила классика статистики ХХ века Джона Уилдера Тьюки с юмором заметить, что «слишком часто статистическую теорию ошибочно называют «математической статистикой», относительно которой многие практики придерживаются той опасной позиции, что научная работа может быть хорошей «математической статистикой», не будучи ни хорошей математикой, ни хорошей статистикой» [188].

В приложениях, за рамками физических и смежных им наук, классические методы статистического оценивания резко теряют свою эффективность и становятся малопригодны для обработки эмпирических данных. В 70-е гг. это заставило понимать под методами прикладной статистики [10-13, 31, 50, 55, 58, 73, 87, 124, 127, 138-141, 169, 171-173, 187-190, 192-193, 202, 203, 206, 207, 220, 222, 234, 245, 261, 286, 293-295, 302, 303] нечто отличное от методов статистики математической. Заметим, что в США и Западной Европе прикладную статистику называют «анализом данных».

Осознание принципиальных различий между методами математической и прикладной статистики в 70-80–е гг. ХХ века стало настолько велико, что распространилось мнение о том, что естественнонаучной традиции более соответствует не теоретикомножественное описание вероятности по А.Н. Колмогорову [92, 96], а ее статистическое описание по Мизесу [120,299] – Смирнову [168] – Виллю-Постникову [149,196,198].

Наиболее аргументировано и последовательно взгляды такого рода отстаивали проф. МГУ В.Н. Тутубалин [186,187] и проф. Ю.И.

Алимов [15-17] (Екатеринбург). В ряде аспектов, связанных с асимптотическими свойствами вероятностных мер, описания по Колмогорову и по Мизесу не вполне эквивалентны, но для приложений это не существенно.

В прикладных работах, в силу закона больших чисел, асимптотические свойства выборочных статистик «напрямую» не зависят того, какие аксиомы заложены в основу стохастической теории. И правомерно не акцентировать внимание на формальной аксиоматике самого понятия «вероятность».

Действительно, наблюдается ли в данном приложении статистическая устойчивость, требуемая по Р. Мизесу, зачастую априори сказать очень трудно. С другой стороны, понятие «пространство элементарных событий», лежащее в основе аксиоматики А.Н. Колмогорова, является чистой абстракцией. Кроме некоторых тривиальных случаев конечных множеств, в природе не существует объектов, адекватных этому понятию.

Подчеркнем, что речь идет именно об описании, а не об определении, «вероятности» по А.Н. Колмогорову или по Р. Мизесу. При этом отметим, что и сам основоположник современной аксиоматической теории вероятностей академик А.Н. Колмогоров серьезно задумывался об условиях и границах приложений вероятностно статистического аппарата [93].

1.1.2. Концепция «анализа данных» Дж.У. Тьюки и статистические методы «с интенсивным применением ЭВМ»

Одно из самых интересных направлений прикладной статистики связано с концепцией «анализа данных», которая была предложена Дж.У. Тьюки [124,188,189,302,303]. По существу, эта концепция является синтезом детерминированных, стохастических и эвристических подходов к анализу выборочных наблюдений. В рамках концепции Дж.У. Тьюки выделяют три этапа анализа данных [188]: 1) «разведочный» («пробный») [189] анализ; 2) стохастический анализ и 3) итоговый.

На этапе пробного анализа [189] данные интерпретируются как числовые массивы, а любые стохастические методы не используются. «К вероятности (в прикладных работах. – авт.) следует относиться серьезно, или оставлять ее в покое, если время от времени это может оказаться полезным или даже необходимым», подчеркивал Дж.У. Тьюки [188]. Цель этого этапа – первичная обработка числовой информации (сортировка данных, «сглаживание» рядов наблюдений, иногда – переход к логарифмическому масштабу). Заметим, что первая книга [10] фундаментального справочного трехтомника [10-12] по методам прикладной статистики С.А. Айвазяна с соавторами практически полностью посвящена методам пробного анализа данных.

На втором этапе работы с данными (собственно «анализ данных»), в рамках концепции Дж.У. Тьюки, используется широкий диапазон методов вероятностно–статистической обработки информации. Включая «стабильные» (устойчивые) [16, 64, 117, 169, 202, 203, 284, 295] робастные и непараметрические (см. ниже) оценки, регрессионные методы [11, 13, 35, 42, 87, 124, 165, 208, 216], анализ временных рядов и последовательностей, методы «с интенсивным применением ЭВМ» [23, 215, 282, 303].

Смысл методов «с интенсивным применением ЭВМ» (не имеющих ничего общего с методом «Монте-Карло») сводится к созданию мощной «вторичной статистики», по которой вычисляются итоговые оценки и определяются их погрешности. Критерии формирования искусственных вторичных данных весьма различаются (несколько подробнее см. ниже).

На третьем этапе «анализа данных» проводится экспертный анализ результатов и их итоговое обобщение. В случае необходимости, на всех этапах исследования возможны итерационные уточнения и обобщения.

Среди методов «с интенсивным применением ЭВМ» наиболее широко используется метод «джекнайф» («охотничий складной нож»), разработанный Дж.У. Тьюки [124,303]. Этот метод хорошо обоснован и может с пользой применяться при анализе «реальных данных». Его суть сводится к следующему.

Пусть имеется выборка n однородных и независимых наблюдений. Исключим из нее m ( m > 1 ). Среди населения существует M человек, обладающих интересующим нас дихотомическим признаком (состоят в данной партии, относятся к сексуальным меньшинствам, имеют автомашину «Жигули», являются клиентами государственного пенсионного фонда, пользуются изучаемой страховой услугой и т.п.).

Производится случайная выборка респондентов объема n. Вероятность того, что в выборку попадут ровно m лиц, обладающих изучаемым дихотомическим признаком (0 m n) задается формулой:

а hy(…) - стандартное обозначение ГГР [123].

Математическое ожидание ГГР равно [170, с.103] а его дисперсия определяется как [170, п.6.1.6] Отметим, что ГГР, зародившись в задачах анализа качества массовой продукции [123,126], сегодня находит широчайшее поле приложений.

Используя понятие гамма-функции, для любых неотрицательных действительных чисел определяемой интегралом Эйлера II рода [284, гл. V] можно получить удобное (для программной реализации) выражение для вычисления значений ГГР.

Для нас важно, что для любых натуральных чисел k выполняется: Г (k 1) k !, причем 1 ! = 1 = 0 !.

Это позволяет представить ГГР в виде:

Используя свойство Г-функции вида (см. [284, п. V.3]) из (1.4) несложно получить hy(m| N, M ;n) Это выражение «выгодно» отличается (в смысле его использования для машинных расчетов) от традиционных представлений ГГР, которые основаны на приближенных (и, как правило, медленно сходящихся) вычислениях бесконечных сумм или произведений [37,147,205].

Величину моды (наиболее вероятного значения изучаемой стохастической переменной) m мы получим, используя аппарат конечных разностей [46]. По аналогии с поиском максимума в случае непрерывных отображений, необходимое и достаточное условие достижения максимума hy(m|M, N ;n) (для дискретного случая исчисления вероятностей) имеет вид Зафиксируем некоторое m. Тогда первая конечная разность [46] в точке m запишется в виде Откуда, с учетом hy(m) 0, следует значение моды ГГР в виде Отметим, что в прикладных социально-экономических задачах, (например, в страховом деле, при формально-математическом обосновании лотерейных проектов) 1 1), причем N1 первого цвета, N 2 - второго, и т.д., N r – r- го цвета. Шары всех цветов в урне сделаны либо из металла, либо из дерева, причем M 1 - число металлических шаров первого цвета, M 2 - металлических шаров второго цвета, и т.д., M r – число металлических шаров r- го цвета.

Переформулируем сказанное в терминах множеств. Пусть дано конечное разбиение множества N, обладающего мощностью N.

Задана система подмножеств N1, N 2, …, N r, мощности которых равны соответственно N1, …, N r, причем:

Пусть M - множество металлических шаров, а M 1 - множество металлических шаров первого цвета, M 2 - металлических шаров второго цвета, и т.д., M r – металлических шаров r-го цвета:

Производится случайная выборка (без возвращения) объема n шаров (n 1), вероятности успеха на каждом шаге перестают зависеть от предыстории отбора.

Это значит, что отбор пойдет по схеме испытаний Бернулли, который описывается биномиальным распределением (1.9).

Совершенно аналогично дело обстоит и в многомерном случае (при конечном числе разных «успехов»). В этом случае распределение разбиения (1.1) заменяется полиномиальным распределением (1.8).

2.3.2. Представления функции полиномиального распределения Рассмотрим серию испытаний Бернулли [28,38,83; 170, п.2.2] длиной n, в каждом опыте которой наблюдается одно из r событий, образующих полную группу событий. Вероятность наступления j-го события постоянна в каждом опыте и равна j ( j 1,r ). Вероятность того события, что каждое j-е событие произойдет ровно n j раз, будет определена формулой полиномиального распределения [170, п.6.4.1] вида (2.3.1.1).

При этом предполагается, что 1 и n n. (2.3.2.1) Полиномиальная функция распределения (ПФР) имеет вид Математические ожидания и дисперсии компонент r –мерного случайного вектора, подчиненного полиномиальному распределению, соответственно имеют вид [170, п.6.4.1]:

Известно [150, п. 4.1.7.10], что где неполная дополнительная гамма-функция Г(,) определена в виде [284, п.V.С] Откуда для ПФР получаем выражение вида Найдем удобную для вычислений форму ФПР. Используем следующее представление [284, п.V.С] неполной дополнительной Г-функции:

Тогда вместо (2.7) мы получим выражение вида Соотношение (2.9) представляет собой точное выражение для функции полиномиального распределения, удобное для реализации на ЭВМ.

2.3.3. Асимптотика полиномиального распределения Полиномиальное распределение может широко использоваться в экономических и социологических исследованиях, при маркетинге потребительских рынков товаров и услуг.

Рассмотрим случай большого потребительского рынка конкурентных товаров, где за единицу времени (неделю, квартал и т.п.) продано n j ( j 1, r) видов товаров, причем n rj n j. Можно считать, что вероятность этого события описывает полиномиальным распределением.

Теперь рассмотрим случай, когда n очень велико. Воспользовавшись приближением Стирлинга (2.3.1.3), можно записать:

Можно от вектора постоянных частот перейти к вектору постоянных (для заданного малого промежутка времени) математических ожиданий вида С учетом (2.1-2) ПР (2.3.1.8) можно приближенно представить в виде Полученное приближение позволяет построить следующую цепочку преобразований для функции ПР (ФПР):

Теперь отметим, что асимптотически (по n) правомерно записать:

Используя это выражение и заменяя в (2.3.3.4) сумму ряда соответствующим интегралом, получаем для ФПР асимптотическое (по n) выражение вида Откуда асимптотическое выражение для ФПВ ПР имеет вид Интегрируя приближение (2.3.2.7), получаем окончательное асимптотическое выражение для ФПР в виде где erf ( ) - широко используемый в статистике и математической физике «интеграл вероятности» 6, определяемый в виде [284, гл.VII].

Функционал erf(x) также называют «интегралом вероятности ошибок» и «интегралом ошибок».

Интеграл вероятностей связан с функцией нормального распределения (интегралом Лапласа) в виде [284, гл.VII] где ( ) - интеграл Лапласа (функция распределения Гаусса).

2.3.4. Обобщения полиномиального распределения Итак, при небольших (относительно мощности конечной генеральной совокупности) объемах выборочных ансамблей распределение разбиения практически без потери точности может быть заменено полиномиальным распределением вида Одномерный случай полиномиального распределения (биномиальное распределение) имеет вид Используя свойства неполных гамма-функций [326, п.V.С], выражение для ФР ПР удобно представить в виде Пусть изучается большая генеральная совокупность населения.

Для маркетингового или социологического опроса составлена анкета из «содержательных вопросов», общее число вариантов ответов на которые равно р. При опросе используются априорные классификации по s номинальным шкалам, данные по которым имеются в Госкомстате.

Как и ранее: k 1, p; i 1, s, j 1,ri. Долю жителей, относящихся к j-й категории i-й классификации, обозначим ij.

Долю лиц, обладающих k-м содержательным признаком, одновременно относясь к j-й категории i-й классификации, обозначим ij. Долю общего числа жителей, обладающих k-м признаком, обозначим. При случайном опросе было проинтервьюировано n респондентов. В выборку попало nij лиц, относящихся к j-й категории i-й классификации, причем k-м изучаемым признаком обладают nij из них. Общее число респондентов, имеющих k-й признак, равно n k.

Введем структурированное биномиальное распределение (СБР). СБР определяет вероятность того события, что в случайной выборке объема n обнаружено nij респондентов j-й категории i-й p(nij, nij | ij,ij ; n) Pr{nij, nij | n} Используя (2.3.4), введем распределение, которое назовем условным биномиальным распределением (УБР) вида Распределение (2.3.4.5) может служить основой для построения процедур статистического оценивания частот встречаемости дихотомических признаков по категориям населения.

Несложно получить вероятность того, что в случайной выборке объема n окажется: (а) по i-й классификации структура ni и (б) k–й признак будет зафиксирован в виде вектора n k, определяется в виде Распределение вида pri (nik, ni | ik,i ; n) назовем распределением структурированной выборки (РСВ). Это распределение описывает стохастический процесс случайного отбора («без возвращения») элементов большой структурированной совокупности в выборочный ансамбль.

Определим распределение, которое будем называть многомерным биномиальным распределением (МБР), в виде Легко видеть, что распределение (2.3.7) является полиномиальным распределением с переменной. Множитель (1 k ) n n (n n k 1) отражает долю тех наблюдений, в которых kй признак зарегистрирован не был.

Теперь определим, необходимое нам в дальнейшем (для построения процедур статистического оценивания), условное полиноk k миальное распределение (УПР) phri (ni | i,i ; ni, n) вида УПР (4.8) является обычным полиномиальным распределением:

2.4. Непрерывные аналоги распределений 2.4.1. Понятие о непрерывном полиномиальном распределении В ряде случаев при изучении социально-экономических объектов, например потребительских рынков, приходится иметь дело с непрерывными распределениями, представленными таблицей значений компонент непрерывного случайного вектора.

В этой связи важно разобраться с видом соответствующих непрерывных распределений, что позволит не только строить простые выборочные оценки частот по данным маркетинговых обследований, но и работать непосредственно со статистической отчетной информацией. Многомерная схема Бернулли при m вариантах исхода опыта, описывается [170, п.6.4.1] полиномиальным распределением (ПР) вида Пусть в (n+1) –м опыте наблюдается j-й «успех». Тогда распределение (1.1), учитывая, что (при х > 0) Г(x+1) = х Г(х), перейдет в распределение С учетом того, что 1 n j n, можно записать, что первая конечная разность [46] по j-й переменной приближенно будет равна Конечные разности [46] являются дискретными аналогами производных соответствующих порядков, в силу чего при n j правомерно считать, что j pom(n | n) [chm(n | n)]/ n j, а распределение chm(n | n) непрерывно.

Используя выражение (1.2), получаем уравнение вида Для определенности назовем chm(n | n) функцией плотности вероятностей (ФПВ) непрерывного полиномиального распределения (НПР). ФПВ НПР априори симметрична по всем своим аргументам, что позволяет записать:

Значение константы С распределения (1.3) найдем из условия нормировки функции распределения (ФР) НПР к 1:

Используя [150, п.2.2.5.1] соотношение вида где В(,) – бета-функция, выражаемая [284, п.V.А.3.3] в виде путем последовательного интегрирования соотношения (2.4.1.4) получаем:

стей (ФПВ) НПР, с учетом (1.3) и последнего выражения, запишем в виде Для соответствующей функции распределения (ФР) запишем:

где случайный вектор { 1,..., m } определен в виде В правой части этого выражения стоит функция m-мерного распределения (ФР) Дирихле, ФПВ которого [289] имеет вид Отметим, что в популярном справочнике [170, п.6.4.5] в описание распределения Дирихле вкрались ошибки, которые были полностью повторены в Викизнание / Распределение Дирихле (www.wikiznanie.ru).

Если в серии n испытаний Бернулли с m «непрерывными» исходами рассматривается распределение абсолютного числа различных исходов опытов, то мы имеем дело с НПР (1.6). Если же рассматривается распределение долей различных исходов опытов, то его описывает распределение Дирихле (1.7).

Пример. В данном сорте водки должно содержаться 100 1 % воды, 100 2 % - этилового спирта, а остальное – допустимый процент примесей. Взята проба объемом n миллилитров этой водки. НПР ch3(n | n) определяет вероятность абсолютных значений n1, n2 и n3 n n1 n2 фактически обнаруженных в пробе составляющих di3( ) - вероятность фактически зарегиводки, а распределение стрированных 1, 2 и 3 1 1 2 долей этих составляющих.

В частности, непрерывное биномиальное распределение (НБР) имеет вид а двумерное распределение Дирихле определено в виде Первые центральные моменты компонент случайного векто-ра, подчиненного распределению Дирихле, имеют вид [276] Из выражений (1.8) для первых моментов dim( ), в силу соотношений вида n j n j, тривиально вычисляются выражения для соответствующих параметров НПР. Для определения мод (наиболее вероятных значений) компонентов вектора, подчиненного распределению Дирихле, запишем:

В силу произвольной нумерации компонент вектора, суммируя эти уравнения, найдем, что точка глобального максимума определена в виде 2.4.2. Структурированное непрерывное На выражение (1.3) можно взглянуть иначе, записав его:

В этом случае случайными величинами будут n и n j ( j 1, m 1).

Иной станет и константа C. Из условия нормировки функции распределения к единице путем последовательного интегрирования с использованием выражения (2.4.1.5), находим:

где, по-прежнему, принято обозначение:

Назовем выражение (2.2) непрерывным структурированным полиномиальным распределением (НСПР). НСПР характеризует появление за фиксированный промежуток времени n независимых событий m типов, со структурой n :

Пример. На потребительском рынке представлено m видов конкурентных товаров. Оказалось, что за единицу времени продано n единиц товаров, причем по маркам товаров структура покупки имеет вид n1,...,nm. Вероятность такой ситуация описывается НСПР (2.3).

Двумерное НСПР имеет вид Характеристики распределения (2.3) легко вычисляется в виде НСПР имеет функцию распределения (ФР) вида где (, ) - неполная гамма-функция [271, п.V.С] вида Представляет интерес распределение суммы m случайных величин n j. Из соотношения (2.3) находим:

Из выражения (2.7) видно, что c(n) представляет собой частный случай гамма–распределения [170, п.6.2.6].

Мода c(n) равна а его первые моменты равны ФР c(n) запишется в виде Отметим, что, как это и должно быть, Более подробно изложение аппарата (и некоторых его приложений) непрерывных обобщений полиномиального распределения даются автором в публикациях [260, 262, 271], а также в монографии [264].

2.4.3. Стохастическое уравнение потребительского рынка Современная микроэкономика зародилась в трудах Дж. Дюпюи [290] и У. Джевонса [296,297]. Причем, основоположник теории потребительского спроса У. Джевонс писал, что экономические законы «…носят настолько сложный характер, что проявляются только для совокупностей и должны изучаться методом средних»

[297]. На «современный» язык эту мысль можно «перевести» так:

«Экономические законы носят вероятностный характер и должны изучаться статистическими методами». В связи со сказанным, вполне естественно, что в математической экономике используется как стохастический, так и детерминированный аппарат описания экономических систем и процессов [65,89,145,146,228,259,263,266А насколько буквально можно понимать процитированную мысль основателя современной теории потребительского рынка?

Видимо, понимать ее можно и в широком, и в узком смысле.

В широком смысле: индивидуальные «параметры» субъекта хозяйственной деятельности (конкретного покупателя, продавца, производителя) не являются объектом изучения экономики, эти вопросы относятся скорее к психологии. В рамках экономических законов имеют смысл интегральные (или среднестатистические) характеристики рынка. Так, например, кривая индивидуального спроса должна интересовать, по мнению Дж. Винера [304], не экономистов, а социальных психологов. А экономистов должен интересовать совокупный спрос (как суперпозиция индивидуальных спросов покупателей данного потребительского рынка). Эта точка зрения значительно расходится с общепринятыми взглядами, но полностью согласуется с мнением У. Джевонса.

В узком смысле: требуется найти распределения, описывающие потребительский рынок конкурентных товаров.

Рассмотрим потребительский рынок из m конкурентных товаров. При краткосрочном рассмотрении потребительского рынка издержки S j продавца j-го товара всегда представимы в виде [146; 89, гл.6] Смысл этой записи заключен в том, что полные издержки S j (в единицу времени) равны сумме постоянных издержек S j, не зависящих от объема продаж товара, и переменных издержек S j, пропорциональных объему продаж.

В выражении S j s j n j параметр s j (удельные переменные издержки) зависит от времени, но в любую данную единицу времени s j можно считать константой.

Все сказанное (и весь материал пункта) относится не только к издержкам продавца, но и затратам производителя. Формально, и издержки, и затраты идентичны, отличаясь только по своей природе.

Общепринято [87,144,286], что в основе торговли (производства) лежит принцип максимизации прибыли P, которая для j-го товара определяется в виде Это позволяет записать:

При этом затраты и стоимости выражаются в денежных единицах (пусть, $), а количество товаров, будем считать, выражается в безразмерных «штуках» (кг, эшелонах, баррелях и т.п.). Критерий (3.2) дает:

Условие s Const имеет смысл только для данного небольшого промежутка (единицы) времени. Из выражения из (3.3) следует, что Будем исходить из того, что оптимальная торговля в среднестатистическом смысле должна обеспечивать выполнение условий (3.3) в каждую единицу времени.

В пределах этой единицы времени j : S j, S j Const.

Полагая функцию стоимости V j V (n j ), с точностью до параметров, единой для всех аргументов, запишем:

где j n j / n j, n j n j ; j 1, m. Смысл параметра n j заключается в том, что при меньшем объеме продаж торговля j-м товаром становится убыточной, т.е. потребительская цена товара становится меньше соответствующих удельных издержек.

Стоимость товаров аддитивна, откуда: V j V j. (2.4.3.5) Следовательно, с учетом уравнений (3.4), затраты совокупного Сравнив этот материал с изложением теории потребления в его связи с производством в работах [259,263,266-270,274], мы увидим, что это тот же взгляд на объект исследования, но для изложения материала в стохастических, а не детерминированных терминах.

Выражение (3.6) позволяет записать распределения вероятностей реализации компонент вектора V в зависимости от n.

Уравнение, стохастически связывающее стоимости товаров с их потреблением, с помощью НПР выражается в виде В выражении (3.8) переменные затраты (за единицу времени) на производство j-го вида товаров S j играют роль параметров рынка. Константа C имеет вид а суммарные переменные затраты равны Замечание. Из смысла изложенного подхода ясно, что под величиной S j понимаются переменные затраты продавца (производителя), связанные только с реализованным за единицу времени количеством j-го товара.

Таким образом, найдена стохастическая связь между затратами совокупного покупателя на потребительском рынке с количеством купленных товаров, в которой переменные затраты продавца (за единицу времени) играют роль параметров состояния рынка.

Выводы по главе 2.

В рамках результатов главы 2 следует отметить:

1. Получены многомерные обобщения гипергеометрического распределения (ГГР), которые адекватно описывают случайный отбор элементов неоднородных (структурированных) множеств. Найдены характеристики (моменты, моды и ковариации) этих распределений. Рассмотрены:

многомерное гипергеометрическое распределение (МГГР); это распределение определяет вероятность конкретной структуры случайного выборочного ансамбля при заданных частотах встречаемости категорий данной фиксированной классификации;

многомерное структурированное гипергеометрическое распределение (МСГГР), которое определяет вероятность того, что в случайной выборке объема n окажется: (а) по i-й классификации структура ni и (б) k–й признак будет зафиксирован в виде вектора nik ; это распределение полностью описывает стохастический характер формирования случайного выборочного ансамбля из неоднородных совокупностей;

условное распределение структурированной выборки 1–го рода, определяющее распределение лиц с k-м признаком в выборке по категориям i-й классификации при заданной структуре выборки;

условное распределение структурированной выборки 2–го рода, определяющее вероятность структуры выборки по данной классификации при данной структуре выборки по k-му признаку.

1. Проведен математически корректный анализ правомерности использования квотного метода (который по самой процедуре формированию выборки не является вполне случайным).

Сделаны оценки необходимых объемов квотной выборки, нужных для обеспечения заданной точности статистической оценки частоты встречаемости качественного признака. Найдено распределение квотного отбора (РКО), математически строго описывающее квотное формирование выборки.

Показано, что выборочная квотная оценка частоты встречаемости качественного признака является несмещенной и состоятельной оценкой истинной частоты встречаемости этого признака.

Следовательно, с теоретико-вероятностных позиций использование квотных методик в прикладных работах правомерно. Однако применение квотного выборочного метода сопряжено с низкой точностью получаемых результатов по населению (покупателям, электорату) в целом;

невозможностью получить оценки частот встречаемости булевых признаков по априорным социально–демографическим категориям населения;

высокими трудоемкостью и стоимостью формирования выборочного ансамбля;

низкой оперативностью получения выборочных данных.

2. Если объем случайной выборки составляет менее 10% от объема генеральной совокупности, что всегда выполняется в маркетинговых и социальных исследованиях, МГГР без заметной потери точности можно заменить на полиномиальное распределение (ПР) [168, с.104].

В связи с чем представляют интерес полученные в работе многомерные обобщения полиномиального распределения, адекватно описывающие случайный отбор элементов из больших структурированных множеств.

В работе рассмотрены:

структурированное биномиальное распределение (СБР), которое определяет вероятность того, что в случайной выборке объема n обнаружено nij респондентов j-й категории i-й классификации, n ij из которых обладают k-м признаком;

условное биномиальное распределением (УБР), которое (см. далее) играет важную роль в построении процедур статистического оценивания частот встречаемости дихотомических признаков по категориям населения (электората, покупателей);

распределение структурированной выборки (РСВ), которое определяет вероятность того события, что в случайной выборке объема n окажется: (а) по i-й классификации структура ni и (б) k–й признак будет зафиксирован в виде вектора многомерное биномиальное распределение (МБР) и условное полиномиальное распределение, которые (см. главу 3) играют важную роль при построении выборочных оценок частоты встречаемости дихотомических признаков по населению (покупателям, электорату) в целом и его основным социально-демографическим категориям.

3. В работе получены непрерывные аналоги распределений полиномиального типа. Найдены характеристики (моменты, моды и ковариации) этих распределений.

Получены следующие результаты:

описано непрерывное полиномиальное распределение (НПР) и его частный случай – непрерывное биномиальное распределение (НБР);

найдена функциональная и логическая связь между непрерывным полиномиальным распределением и распределением Дирихле;

описано непрерывное структурированное полиномиальное распределение, адекватно описывающее выборочный метод на неоднородном множестве, заданном непрерывными переменными.

5. Получено стохастическое уравнение потребительского рынка, которое показывает, что суммарные затраты покупателей (за единицу времени) на потребительском рынке описываются непрерывным полиномиальным распределением (НПР). В уравнении потребительского рынка затраты производителей (продавцов) играют роль параметров НПР.

ГЛАВА 3. СТАТИСТИЧЕСКИЕ ОЦЕНКИ ЧАСТОТ ВСТРЕЧАЕМОСТИ

БУЛЕВЫХ ПРИЗНАКОВ ПО СЛУЧАЙНОЙ НЕОДНОРОДНОЙ ВЫБОРКЕ.

НЕПАРАМЕТРИЧЕСКИЕ ПОЛИГРАММНЫЕ ОЦЕНКИ

Материал этой главы книги фрагментарно приведен в работах [5,7,8,130,131,156,157,174,175,217,236,236,239,240,243,247,249, 251252,257,260-262,264]. Автор апробировал его на ряде Международных, Всесоюзных и Всероссийских научных конференций и симпозиумов [132,133,158,219,220,231,248,250,271].

В третьей главе используются базовые обозначения, которые ранее были введены в главе 2.

3.1. Статистические оценки частот встречаемости булевых признаков по случайной неоднородной 3.1.1.Выборочные оценки частот встречаемости булевых признаков по населению в целом с использованием МСГГР На основе обобщений гипергеометрического распределения (ГГР), предложенных в разделе 2.1, возможны различные виды состоятельных оценок частот встречаемости дихотомических признаков как по населению в целом, так и по его социальнодемографическим категориям. Ниже приведен относительно простой метод, позволяющий получить стабильные и достаточно точные оценки частот встречаемости качественных признаков.

Используя условное распределение (2.1.4.1) грубую оценку частоты встречаемости k–го булевого признака среди лиц j-й категории i-й классификации запишем в виде Несложно показать, что оценка (3.1.1.1) является состоятельной, несмещенной и асимптотически нормальной оценкой частоты На практике значения nij и nij часто оказываются малы, что обуславливает большие погрешности оценок (3.1.1.1). Поэтому эти оценки используются исключительно как вспомогательные.

Определим оценку вида k k. (3.1.1.2) С учетом того, что все стохастические переменные nij подчинены ГГР вида hy(nij | i, nij ), их дисперсии приближенно вычисляются в виде Dnij nij (nij nij ) / nij. (3.1.1.3) А ковариации величин nij и nil (l j) вычисляется в виде Тогда дисперсия оценки (3.1.1.2) имеет вид Тривиально показать состоятельность и несмещенность оценок Каждую из s оценок вида (3.1.1.2) можно рассматривать как некоторое измерение [13,35,125,135,139-141,143,153,163,177искомой частоты встречаемости k-го признака, точность которого определена выражением вида (3.1.1.5).

Заметим также, что идея получения итоговой оценки частоты встречаемости изучаемого признака в виде линейной суперпозиции ее неравноточных измерений соответствует естественнонаучной традиции обработки результатов экспериментов [123,135,163] в области физических наук.

Будем рассматривать «частные» оценки частоты ( i) как неравk ноточные измерения истинного значения частоты. Итоговую оценку частоты где Cij Cov( k, k ). Для несмещенности оценки (3.1.1.6), необi) ( j ) ходимо условие вида i i 1.

С учетом этого требования, значения компонент вектора определим из критерия вида D k min( ). (3.1.1.7) Точное решение задачи, требующее оценивания значений ковариаций Cij, представляет собой несложную, но «громоздкую» в вычислительном отношении процедуру, которая сводится к решению системы линейных уравнений. Автор с коллегами провел несколько сотен вычислений значений точных оценок (3.1.1.6). При этом выявились два факта.

Во-первых, ковариационная матрица Cij часто оказывается вырожденной. В этом случае ее приходится аппроксимировать в некотором смысле «ближайшей» к ней невырожденной матрицей (подробнее см. статью [5]). При аппроксимации вырожденной матрицы Cij некоторой невырожденной матрицей использовались методы из работы [42]. Но при этом возникает дополнительная ошибка, оценить величину которой аналитически не удается.

Во-вторых, оказалось, что в абсолютном большинстве случаев значения C ij по модулю на два-три порядка меньше, чем значения D (ki ). Поэтому учет ковариаций в выражении для итоговой оценки дисперсии частоты (1.6) практического смысла не имеет и является попыткой уточнить результат за пределами точности вычислений.

Содержательно это понятно: оценивание частот встречаемости с помощью разных (и по своему смыслу практически между собой не связанных) номинальных шкал дает слабо коррелируемые результаты. Поэтому ( i ) на практике можно считать стохастически незавиk симыми. В этом предположении компоненты вектора имеют вид Тогда искомые оценки (k находятся в виде а ее дисперсия вычисляется как D k D(ki) 1. (3.1.1.9) Выражения (1.8-9) являются точными, а не приближенными решениями задачи, в предположении независимости частных (вспомогательных) оценок (k. При этом, будучи средним гармоi) ническим дисперсий вспомогательных оценок, дисперсия оценки (1.9) заведомо меньше их минимального значения.

Заметим, что все соотношения этого пункта применимы и к результатам квотного опроса, поскольку он представляет собой частный случай изложенного при значениях nij nij.

3.1.2. Приложение полученных результатов к социологии форума Приведем пример из практики автора. В 1992-м году администрацией Президента РФ было решено пригласить на очередной VII Съезд народных депутатов РФ семь коллективов социологов. Одной из привлеченных к работе организаций был Институт системных исследований и социологии (ИСИС), научным руководителем которого был автор.

На съезде актуально встал вопрос о доверии действующему кабинету министров. Мы располагали данными о результатах голосований на предыдущих съездах всех N = 1040 депутатов. Было отобрано 125 голосований по важнейшим вопросам, которые использовались как априорные классификации с тремя значениями: «за», «отсутствовал» и «прочее» (позиции «против» и «воздержался»

были равнозначны с точки зрения итогов голосования). Таким образом, все депутаты были подвергнуты 125-и априорным классификациям с относительными частотами встречаемости ij (i 1, 125, j 1,2,3). Было опрошено всего лишь n = 40 депутатов, из которых в поддержку кабинета министров высказались n депутатов. Обозначим n ij число депутатов из j-й категории i-й i : n 3j nij. Используя эти 125 априорных классификаций, запишем вспомогательные оценки вида Используя выражение (3.1.1.8), для итоговой оценки доли депутатов, поддерживающих правительство, получаем выражение вида Дисперсия итоговой оценки, учитывая (3.1.1.9), запишется в виде Всего за час работы было выяснено, что в поддержку правительства готовы проголосовать 470 плюс-минус 6 депутатов. Это означало, что кабинет министров ни в коем случае не сможет получить поддержку большинства депутатов (которая составляла голос).

Через сутки тайное голосование депутатского корпуса дало результат: в поддержку правительства было отдано 467 голосов народных депутатов России.

Приведенный пример апробации изложенной методики продемонстрировал еще одно важное свойство разработанного подхода:

оценки примерно равной точности можно получить как по большому опросу с малым «паспортом» анкеты, так и по малому опросу с очень большим «паспортом» анкеты (при большом числе априорных классификаций).

Парадокс состоит в том, что при использовании квотных технологий наличие многих априорных классификаций – большая трудность, а для изложенной методики – это благо.

Чем большим числом вспомогательных классификаций мы пользуемся, тем меньше погрешность получаемого в итоге результата. Если, конечно, в Росстате есть статистика по используемым в работе классификациям (номинальным шкалам).

Изложенный метод в исследованиях политологического, социологического и маркетингового характера 1991-2011 гг. обычно обеспечивает, при объемах случайного выборочного ансамбля - 2000 наблюдений, погрешности оценок 3.1.3. Выборочные оценки частот встречаемости булевых признаков по категориям населения В настоящем пункте работы изложен простой метод оценивания частот встречаемости дихотомических признаков по категориям населения, который, тем не менее, дает достаточно точные результаты. На практике автором применялись и другие, несколько более сложные, методы для оценки частот встречаемости [131, 133, 156, 158, 235, 237, 239, 249, 250-252, 262, 264] булевых признаков по социальным категориям населения.

Запишем соотношение вида Математическое ожидание этого распределения имеет вид Отсюда можно сделать вывод, о том, что Следовательно, для частоты встречаемости k–го признака по j–й категории i–й номинальной шкалы паспорта можно записать:

Отсюда следует естественный вид оценки для частоты встречаемости k–го признака по j–й категории i–й номинальной шкалы паспорта:

Оценка (3.5) является асимптотически несмещенной, причем:

Оценка (2.5) является состоятельной, поскольку Дисперсия оценки (3.5) вычисляется в виде Таким образом, можно утверждать, основываясь на непараметрическом правиле «трех сигм», что Итак, мы обосновали методику оценки значений частот встречаемости булевых признаков по произвольным априорным классификациям (данные по которым есть в Росстате).

3.1.4. Анализ электоральных ожиданий социально–демографических категорий населения Рассмотрим пример апробации разработанной методики в задачах обеспечения электоральных кампаний. Осенью 1993-го года с просьбой об аналитическом сопровождении предвыборной кампании ЛДПР к автору обратился В.В. Жириновский.

Работа сводилась к тому, чтобы проанализировать тезисы выступлений и статей лидера ЛДПР за предыдущий год. Эти тезисы были оформлены в виде вопросов анкеты.

С помощью социологических организаций-партнеров был проведен всероссийский опрос в 12 регионах (Москва, С.- Петербург, Тула, Воронеж, Ростов, Самара, Нижний Новгород, Екатеринбург, Уфа, Омск, Иркутск и Владивосток). Случайным образом опрашивалось городское и сельское население, в «паспорте» анкеты фигурировали 6 априорных классификаций электората (подробнее см.

[148]). Результаты опроса были обработаны по методике, изложенной выше.

Были выделены 8 тезисов, которые однозначно хорошо воспринимались абсолютным большинством населения. На эти тезисы лидер ЛДПР стал опираться в своих выступлениях, ориентированных на широкие слои всех избирателей (телевыступления, публичные дебаты, статьи и заметки в крупных газетах).

Для основных социальных категорий электората были выделены «свои» 6-7 тезисов, доминанты политических ожиданий этих групп населения. Затем автор придал выделенным тезисам «публицистический вид». С этим материалом В.В. Жириновский выступал на телевидении, где были организованы (заранее широко анонсированные) «телевстречи» с различными категориями избирателей.

Многим памятен триумфальный для ЛДПР подсчет итогов голосования по выборам в ГД ФС РФ, проходивший в прямом телеэфире «Политического Нового года» в 1993 г.

При использовании изложенных методов работы со случайными выборками точность оценок (по сравнению с «квотными»

методами) значительно возрастает, стоимость опросов резко падает и оперативность исследований существенно повышается. А возможность анализа общественного мнения в «разрезах» по социально-демографическим категориям населения радикально повышает информативность экспертного анализа социума.

3.2. Статистические оценки частот встречаемости дихотомических признаков для категорий населения В том случае, как было указано выше, если n < 0.1 N, то многомерное структурированное гипергеометрическое распределение (МСГГР) можно заменить соответствующим структурированным полиномиальным распределением (СПР).

Указанное условие в маркетинге потребительских рынков и в социально–экономических исследованиях, как правило, выполняется. При этом выборочные оценки, построенные по СПР проще, чем оценки, использующие СГГР.

3.2.1. Вспомогательные оценки частот встречаемости булевых признаков по категориям населения Из соотношения (2.3.2.9) непосредственно следует, что математическое ожидание стохастической переменной n nij, для распределения ch ( nij | ij, ij ; n k, n), выражается [170, п.6.1.3] в виk где M [...] - математическое ожидание (…).

Используя это приближение, легко получить выражение для частоты встречаемости k–го признака среди лиц j–й категории i–й номинальной шкалы вида Из соотношения (1.1) сразу следует критерий представительности выборки:

Таким образом, выборка может считаться представительной (в смысле излагаемой методологии) в том случае, если по каждой категории каждой классификации доля наблюдений с изучаеnij / n) ij Этот критерий строго формализует понятие представительности случайной выборки по изучаемым качественным признакам.

Из приближения (3.2.1.1) можно получить важное соотношение для частоты встречаемости k–го признака в виде Таким образом, соотношение (3.2.1.1) позволяет представить вспомогательную (обладающей невысокой точностью) оценку частоты встречаемости k–го признака среди лиц j–й категории i–й номинальной шкалы в виде Тривиально показать, что оценка (3.2.1.3) является состоятельной:

Из соотношения (2.3.2.9) видно, что стохастическая переменная nij nij Откуда следует, что оценка (3.2.1.3) является несмещенной:

Дисперсии оценок (3.2.1.3) вычисляются в виде Отметим, что Все сделанные выше выводы правомерны и для квотных выборок, которые по своей сути представляют собой частный случай, когда nij n ij. Что в этом случае позволяет записать:

Но дело в том, что дисперсия оценки nij nij :

обычно слишком велика, поскольку оценка (1.8) обладает малой точностью и высокой нестабильностью. Поэтому никто и не использует квотные методы для прямого оценивания частот встречаемости признаков по категориям населения.

3.2.2. Вспомогательные оценки частот встречаемости бинарных признаков по населению в целом Теперь можно перейти от вспомогательных оценок частот по категориям населения к вспомогательным оценкам частот встречаемости качественных признаков по населению (электорату, покупателям) в целом. Вспомогательную оценку частоты встречаемости k–го признака по населению в целом с помощью i–й классификации определим в виде Оценки (i ) (i 1, s) являются состоятельными:

и несмещенными:

Дисперсия оценки (2.1) оценивается в виде где C jl - оценки ковариации Cov( ijk, ilk ) частот, значениями которых можно пренебречь. Покажем это.

Отметив, что nij n ij, (3.2.2.5) оценку (3.2.2.1) можно приближенно представить в виде Рассмотрим полиномиальное распределение вида Согласно соотношению (2.3.3.4) Но тогда правомерно записать, что 3.2.3. Выборочные оценки частот встречаемости дихотомических признаков по населению в целом Как и п. 3.1.1, будем рассматривать вспомогательные оценки частоты k как неравноточные и независимые (что правомерно с содержательной точки зрения) измерения значения частоты k.

Это позволяет, как принято при обработке неравноточных измереk i (ki). (3.2.3.1) В силу требования несмещенности оценки, необходимо условие ограничения на вектор вида 1. (3.2.3.2) Оценка (3.1) является состоятельной и несмещенной:

Ее дисперсия, с учетом соотношения (3.2.2.4), представима в виде лим из условия минимизации дисперсии итоговой оценки:

Несложно показать, что решение этой задачи определяется в виде Тогда итоговая оценка частоты встречаемости k-го признака а ее дисперсия равна среднему гармоническому дисперсий частных Из (3.2.3.9) следует, что дисперсия итоговой оценки частоты, являясь средним гармоническим дисперсий вспомогательных оценок, всегда меньше, чем минимальная из дисперсий вспомогательных оценок этой частоты вида (ki) ; k 1, p ; i 1, s. На практике дисперсия оценки k обычно оказывается кратно (иногда порядково) меньше минимального из значений D (ki).

Практика показала, что изложенный метод в исследованиях социально-экономического, социологического и маркетингового характера обычно обеспечивает, при объемах случайного выборочного ансамбля 1500 -2000 наблюдений, погрешности оценок порядка 0.005 - 0.010 (от половины до одного процента, считая от численности генеральной совокупности).

3.2.4. Выборочные оценки частот встречаемости дихотомических признаков по категориям населения Перейдем к построению процедур получения выборочных оценок по категориям генеральной совокупности (населения, покупателей, электората).

cri (ni | ik,i ; nik, n) можно записать выражение для математического ожидания стохастической переменной nij nij в виде [170, п.6.4.1]:

Откуда следует вывод, о том, что Выражение (4.2) дает возможность приближенно выразить частоту встречаемости k–го признака среди лиц j–й категории i–й номинальной шкалы в виде Существенно, что из приближения (3.2.4.3) следует:

Из соотношения (3.2.4.3) следует вид оценки частоты встречаемости k –го признака среди лиц j –й категории i –й номинальной шкалы в виде где - полученная ранее оценка частоты встречаемости k –го признака по населению в целом. Используя свойства ПР, легко показать, что оценка (4.4) является состоятельной:

Оценка (4.4) является асимптотически несмещенной:

Дисперсия оценки (4.4) может быть выражена в виде При больших объемах выборки справедливо приближение вида На основании (4.8) можно полагать, что, при больших объемах выборки, с удовлетворительной для практики точностью для дисперсии оценки (4.4) выполняется соотношение вида В целом отметим, что при использовании изложенных методов работы со случайными выборками из структурированных множеств точность оценок резко возрастает, а наличие результатов анализа социальных категорий населения радикально повышает возможности экспертно-аналитической работы при подготовке информации для лиц, принимающих управляющие решения, а также при планировании рекламных и рекламно-политических кампаний.

Пример апробации оценок частот встречаемости дихотомических признаков по социально-демографическим В 2011 г. проводилось комплексное исследование по изучению казачества Юга России. Эта работа позволила в полной мере показать важность получения структуры общественного мнения в социально-экономических исследованиях.

В частности, большой интерес представляют собой самооценки материального положения казаков с учетом их семейного положения. Это очень важный показатель: не так существенно сколько благ имеет человек, как важно, насколько он чувствует себя удовлетворенным.

В табл. 3.1 приведены результаты, полученные при опросе около 3 тыс. казаков из станиц от Дона до Терека.

На питание денег хватает, а на покупку одежды – нет На питание и одежду денег хватает, на крупную бытовую технику – нет Денег хватает на всё, кроме приобретения недвижимости Никаких материальных затруднений не испытываю Из таблицы видно, что большинству казаков, независимо от семейного положения, денег хватает только на питание и одежду.

В несколько лучшем положении находятся женатые казаки, не имеющие детей: треть из них могут позволить себе все разумные расходы, исключая покупку недвижимости (которая на Северном Кавказе весьма дорогостояща).

Около 8 % казаков «борются за выживание» и лишь 2% казаков не испытывают существенных материальных затруднений 3.3. Метод группового анкетирования 3.3.1. Метод «фокус–групп» и возможности его использования В последние годы метод «фокус–групп» [27,44,100,116, 142,184] все более широко применяется в экономических и социальных исследованиях, маркетинге потребительских рынков. Суть этого метода, по существу, сводится к тому, что несколько специалистов на основе подробного расспроса по заданной тематике 6- человек, составляющих фокус-группу, делают глубокие выводы по сложным аспектам изучаемой проблемы.

Принципиальный вопрос, который вызывает недоверие к методу фокус-групп, состоит в следующем. Допустим, что социологи, психологи, психиатры, экстрасенсы и другие специалисты «вытянули» из сознания и даже подсознания респондентов фокус-группы всю информацию «до донышка». Но, даже если проводится несколько фокус-групп общей численностью 40-60 человек, возникает вопрос: а какое отношение имеет мнение этой «горсточки» людей (фокус-группы) к общественному мнению населения региона или его социально-демографических категорий?

Ответ очевиден: практически, никакого. Причем этот неприятный вывод касается и количественной, и качественной стороны исследуемой проблематики. И никакие рассуждения о соотношении качественных и количественных методов в социологии [184] и о «типичности представителей» (что это? как ее измерить?) тут помочь в принципе не могут.

Что значит эта «типичность»? Для примера, вспомните любую группу студентов, в которой Вы учились или которой что-то преподавали. Как-то в личной беседе один из профессоров РГСУ сказал автору: наш типичный студент – девушка, москвичка из неполной семьи. Таких девушек в группе, скажем десяток. Выберем двух из них. И окажется, что первая мечтает работать в банке, вторая - в ВУЗе, первая ценит деньги, вторая – семью и детей, первая прочла за жизнь 20 книг, вторая – 2000, первая сочувствует В. Чубайсу с И. Хакамадой, вторая – Г. Явлинскому, первая любит посещать ночные клубы, вторая – филармонию, первая «болеет» за «ЦСКА», вторая футболом не интересуется. Так кто из них «типичен»?

Мы имеем здесь дело с той самой проблемой «малой выборки», которая так хорошо известна в прикладной статистике: по малому выборочному ансамблю наблюдений очень сложно сделать скольлибо надежные прямые выводы о генеральной совокупности. В математической статистике эта проблема послужила (см. п. 1.1) причиной для создания целого ряда абсолютно новых направлений статистического анализа: непараметрических и робастных процедур оценивания, методов анализа данных в рамках концепции Дж. У. Тьюки, статистических методов «с интенсивным применением ЭВМ».

В начале 1996 года автор по просьбе А.И. Лебедя, тогда кандидата в Президенты РФ, провел проверку выводов, которые были сделаны группой российских социологов по заказу аппарата Конгресса США. Исследовалось мнение россиян по важным социально–экономическим и политическим проблемам. Исполнители работы провели (не сомневаюсь, добросовестно и квалифицированно) фокус–групп численностью по 8 человек каждая, по две в Москве, С. - Петербурге, Самаре и Екатеринбурге. Полученные результаты в отчете интерпретировались как доминанты общественного мнения россиян.

Проверка всех наиболее важных выводов силами Института системных исследований и социологии (ИСИС), который в 90-е годы прошлого века возглавлял автор, проводилась следующим образом.

Каждый вывод типа «Это является белым» «инвертировался» в вопрос анкеты «А является ли это белым?». Далее был проведен массовый опрос населения в тех же регионах, где проводились фокусгруппы.

Опрос носил случайный характер с обеспечением представительности всех основных социально-демографических категорий населения. Полученные результаты были компьютерно обработаны по выше изложенной методике. Погрешность полученных результатов (было опрошено около 2 000 респондентов) не превышала 1.0% для населения в целом и 4.0% для его социально– демографических категорий.

Вывод, который следовал из данных проведенной проверки, был таков: большинство мнений, которые в отчете по фокусгруппам трактовались как доминанты общественного мнения, разделяло от 30 до 70% населения регионов. По категориям населения результаты были аналогичны, но с несколько большим диапазоном разброса: 20 - 70%.

Автор не утверждает, что метод фокус-–групп бесполезен. Повидимому, он может быть эффективен при использовании в качестве экспресс-процедуры для обоснования принятия решения в условиях дефицита времени и денег на серьезное исследование.

То есть в тех ситуациях, когда важно быстро и, по возможности, относительно объективно сориентироваться в главном, типа:

«делаем поворот направо или налево».

Но нужно констатировать: 30-40 и даже 90–100 человек, отобранных «с любой тщательностью», в принципе не могут качественно представлять генеральную совокупность.

3.3.2. Технология группового анкетирования на «малых выборках»

Методика группового анкетирования на «малых выборках» (ее подробное описание приведено в статьях [4,5,7,8] и монографиях [236, 239, 249, 264]), как информационно-аналитическая технология, предназначена для оценки мнения населения по логически сложным темам. Такими проблемами являются вопросы, аспекты которых невозможно достоверно замерить с помощью массового опроса населения вследствие трудной воспринимаемости населением вопроса, для понимания которого требуются разъяснения, демонстрации;

из-за неизвестности широким слоям населения важных аспектов проблемы или ее многоаспектности и неоднозначности;

в силу отсутствия у большинства населения выраженного отношения к проблеме, актуальной для заказчика исследования;

вследствие необходимости моделирования ситуаций для выявления возможного отношения населения (после проведения рекламных мероприятий) к изучаемой проблеме;

из-за необходимости знать «тонкие» аспекты проблематики.

Разработанный подход основан на двух типах данных, полученных в результате опросов населения.

Первый тип данных – результат массового социологического опроса населения по вопросам проблематики, отражающим общие, понятные неподготовленному человеку, стороны изучаемой тематики. Опрашивается 1.5 - 2.0 тыс. человек, отобранных случайным образом, но представляющих основные социально-демографические категории населения. В данной части работы исследуются общие, «крупные» вопросы изучаемой ситуации.

Второй тип данных - результат опроса нескольких малых групп населения (по 30-40 человек каждая) по «тонким» аспектам проблематики. В анкете содержатся вопросы, детализирующие и расшифровывающие общие положения, измеренные при массовом социологическом опросе. Отбор респондентов в малые выборки случаен, но соблюдается принцип представительности основных социально–демографических категорий.

В процессе беседы участникам малой группы объясняется смысл «тонких» аспектов обсуждаемых проблем, проводятся необходимые разъяснения, доводится новая информация. Здесь возможно выявить причины тех или иных ответов на вопросы массового социологического обследования, оценить влияние новой информации на формирование (изменение) отношения к проблеме в целом и ее аспектам.

Репрезентативность всему населению и его основным социально-демографическим группам обеспечивается на этапе компьютерной обработки двух массивов анкет (по методике, изложенной в настоящей диссертации) с использованием данных Росстата о структуре населения.

3.3.3. Этапы работы при групповом анкетировании Работа строится последовательно, поэтапно. Процесс исследования проиллюстрирован схемой, приведенной на рис. 3.1. Упрощенно этапы выглядят таким образом.

0-й этап (подготовительный).

Проводится неформальное описание изучаемой системы, составляются анкеты и планы мероприятий для этапов работы.

1-й этап (массовый опрос населения).

По интересующей нас тематике на простом (доступном неподготовленному человеку) уровне проводится опрос населения. Технически он проводится по технологии, описанной выше, и охватывает 1,5-2 тыс. человек, которые отбираются случайным образом.

В итоге получаем данные, которые соответствуют на схеме области CHFQ, где CQ соответствует количеству вопросов анкеты, а CH – числу респондентов. Например, GQ = 300, а CH = 1800. В анкете «большого» социологического опроса задействуются несложные вопросы по интересующей нас тематике, которые не требуют от среднего человека дополнительных знаний. В итоге мы «снимаем» лишь общие настроения по интересующей нас тематике, необходимые для проведения малых выборок.

Рис.3.1. Схема исследований по технологии «малых выборок»

2-й этап (работа с малыми выборками населения).

В зале собирается небольшое количество респондентов (30- человек), представляющих интересующее нас население. На схеме это соответствует длине HD=GF. Работа с ними представляет собой нечто среднее между проведением традиционных «фокус-групп» и обычным школьным уроком.

До проведения малой выборки (до «начала урока») респондентам предлагают заполнить уже знакомую нам с предыдущего этапа «простую» тематическую анкету. На схеме это соответствует области GFHD. Этот шаг нам нужен для того, чтобы связать данные массового опроса (область GQCD) с результатами «тонкой» работы с малой выборкой (AEFG).

«Урок» разделен на логически законченные части. Изложив слушателям заданную версию данной части мероприятия, социолог-модератор, исполняющий роль «учителя», задает респондентам контрольные вопросы. Не столько для обсуждения изложенного, как это практикуется на «фокус-группах», сколько для контроля того, как слушатели поняли суть доводимой до них точки зрения.

После контрольных вопросов «учеников» просят заполнить соответствующую часть «тонкой» анкеты. Эта анкета посвящена уже сложным аспектам исследуемой проблематики. Затем «учитель»

переходит к следующей части тематики. В итоге, за 2-3 часа вся «тонкая» анкета заполнена каждым из участников малой выборки.

Эти данные соответствуют области AEFG на нашей схеме, где AE - число участников «урока», а AG = EF - число вопросов «тонкой» анкеты. Фактически, «урок» моделирует один из вариантов информационной, пропагандистской, рекламной или рекламнополитической кампании.

3-й этап (оценка элементов матрицы «большого опроса»).

По стохастическим связям между столбцами и строками матрицы данных можно быстро и с малыми затратами оценивать характеристики объектов самой разной природы и назначения. Разработанный алгоритм корректно ориентирован на социологические и подобные приложения, где работают с признаками, измеренными в слабых шкалах.

Осталась незаполненной область BEFQ. Для ее заполнения разработан соответствующий алгоритм, который позволяет оценить значение любого элемента из области BEFQ. И не только оценить значение, но и вычислить погрешность каждой оценки. В итоге вычислений мы получаем полностью заполненную матрицу данных ABCD, которая отражает результаты математического моделирования социологического «опроса» группы населения по большой и весьма «тонкой» анкете.

4-й этап (аппроксимация на генеральную совокупность).

Проводится по методике, которая будет математически обоснована в пунктах 3.3.3-4. В результате получается количественная оценка для всего населения и его социально-демографических категорий.

Фактически, мы получили не что иное, как оценку конечного результата основного мероприятия при заданной тактике рекламной кампании. И задали мы эту тактику в процессе проведения «урока» на малой выборке. Теперь заменим избранную тактику рекламы (проведения «урока») на некоторый ее альтернативный вариант. В итоге получим иные конечные результаты, отражающие второй вариант рекламной кампании.

Испробовав на малых выборках несколько вариантов доведения нашей точки зрения до населения, мы можем отобрать лучшие, наиболее эффективные из аспектов и составляющих каждой тактики. Теперь проведем последний «урок» на малой выборке по плану, который сформирован из лучших элементов различных тактик.

Сделав затем соответствующие вычисления и аппроксимации, мы вычислим количественные оценки для результатов, которые будут получены при наилучшей из выявленных тактик доведения информации до населения, наиболее эффективной агитации.

5-й этап (выработка рекомендаций и планов). Проводится на основе аналитической обработки и обобщения итоговых результатов проведенной работы. Цель этапа – аналитическое обоснование и выработка рекомендаций по приведению информационно-рекламных мероприятий.

3.3.4. Область применения технологии группового Областью приложения описанной методики может быть широкий спектр задач анализа многоаспектных экономических, социально–экономических и политических проблем, сравнения качеств новых малоизвестных товаров, анализ эффективности рекламных мероприятий и избирательных стратегий.

Решение этих задач - социология нового уровня требований к получаемым результатам, инновационный подход в социальноэкономических исследованиях, анализе общественного мнения, политических ожиданий и потребительских предпочтений Испробовав на малых выборках несколько вариантов доведения нашей точки зрения до населения, мы можем отобрать наиболее эффективные из аспектов и составляющих каждой тактики. Эти аспекты, в наиболее «выигрышном» для нас варианте, должны войти в обобщенный план информационных, агитационных и рекламных мероприятий.

Количественно предсказать и сопоставить будущий эффект от различных вариантов действий – новая постановка задачи, в принципе неразрешимая в рамках методов традиционной социологии.

Метод группового анкетирования на малых выборках позволяет:

выявить «тонкие» аспекты общественного мнения населения, (потребителей, избирателей) в сложных проблемах исследуемой тематики;

оптимально расставить акценты в рекламных кампаниях;

оптимально оценить мотивы и контр–мотивы при принятии управляющих решений в части населения (потребителей, избирателей), максимально использовав полученные на «малых выборках»

знания в рекламных и агитационных мероприятиях;

целенаправленно спланировать контрпропаганду против наиболее сильных позиций конкурентов (на выборах, потребительских рынках);

эффективно спланировать динамику кампании (во времени);

оптимально спланировать расходование финансовых средств на проведение рекламной или агитационной кампании;

объективно выявить «костяк» избирателей (покупателей), заранее ориентированных на нашего кандидата (нашу продукцию);

предсказать количественные результаты, которые достижимы «на финише» рекламной или агитационной кампании при различных вариантах ее содержания и стратегии проведения.

3.3.5. Статистические оценки частот встречаемости по населению в целом при групповом анкетировании на малых выборках Пусть изучается население региона, численность которого равна N. Для социологического опроса составлена анкета из некоторого числа содержательных вопросов, общее число вариантов ответов на которые равно р. Паспорт анкеты содержит s номинальных шкал, в качестве которых могут рассматриваться те шкалы наименований, статистическими данными о которых мы априори располагаем (из данных Росстата).

По этой анкете согласно описанной методике, был проведен социологический опрос, в результате которого достаточно точно определены значения N k (k 1, p), т.е. количество наблюдений (человек), обладающих каждым из изучаемых бинарных признаков.

Далее, среди n (n определяются аналогично методу оценивания значений ij. Моменты переменных Ri оцениl ваются по аналогии с моментами R j.

Оценка II рода для ранга ri k ( i 1, m, k 1, n ) имеет вид Ее дисперсия оценивается в виде Dri Dr DRi.

Теперь остается «свести» оценки (4.1.8) и (4.1.10) к одной, наиболее точной оценке. Используем тот факт, что эти оценки являются неравноточными измерениями [125,135,163] одной и той же величины rik (i 1,m, k 1,n). Представим итоговую оценку в виде rik ik ~ k (1 ik )ri k. (4.1.11) Из условия минимизации дисперсии оценки (4.1.11), в предположении независимости оценок ~ k и ri k, получаем итоговую оценку rik значения ранга rik в виде Дисперсия оценки (4.11) имеет вид Легко заметить, что дисперсия (4.1.13) априори меньше миниD~ k и Dri k, поскольку является их средним мальной из дисперсий гармоническим. На практике, зачастую она меньше минимальной из них почти на порядок.

Проделав циклы вычислений по всем элементам матрицы данных, получаем полностью заполненную матрицу оценок ранговых показателей { r j ; j 1,m; k 1,n}.

Критерий корректировки ранговых данных rik ( j 1,m ; k 1,n ), используя непараметрическое «правило трех сигм», можно записать в виде Использование критерия (4.1.14), как следует из неравенства Чебышева, говорит о том, что для любого распределения (на уровне доверительной вероятности не менее 0.9) мы не только оценили ранговые переменные для пропущенных значений показателей в исходной таблице, но и уточнили недостоверные значения ранговых показателей. Таким образом, получена полностью заполненная и проверенная (с позиций достоверности ее значений) матрица ранговых переменных { r jk ; j 1,m ; k 1,n}.

В силу того, что переход к рангам (4.4) носит биективный характер, по матрице { r jk } однозначно восстанавливаются значения { x k }. При этом происходит заполнение пропущенных и замена неj достоверных значений элементов матрицы данных.

Более высокая точность предложенного алгоритма по сравнению с аналогичными методами обеспечивается за счет использования ранговых статистик, что позволяет исключить влияние «выбросов» в значениях данных. Кроме того, алгоритм «по отдельности»

оценивает каждый элемент изучаемой таблицы данных, позволяя для каждой оценки вычислить свою дисперсию, которая зависит от того, какие значения пропущены в фиксированных строке и столбце таблицы.

4.1.2. Апробация алгоритма на данных по Приволжскому ФО.

Предложенный метод был апробирован на данных по Приволжскому ФО, объединяющему 13 регионов, каждый из которых характеризовался 8 показателями за 2009 г. (см. таблицу 4.1.1). Таким образом, заполненная изучаемая таблица содержала 104 значения. На основе разработанного метода вначале была проверена достоверность данных таблицы. Неточных по критерию (4.1.14) значений выявлено не было.

Затем было проведено 100 опытов, в каждом из которых «портились» по 7 значений показателей. В каждом испытании 4 показателя изымались (как условно неизвестные) и в расчетах не участвовали. Кроме того, 3 показателя изменялись в различных пределах.

Пример такой «испорченной» матрицы данных таблице 4.1.2. В таблице 4.1.3 приведен соответствующий пример результатов анализа матрицы данных, отображенной в таблице 4.1.2. Суммарно из 300 «испорченных» значений было выявлено и исправлено 287.

Точность оценки прогнозов показателей составила в среднем (по 100 проведенным опытам) составила 4,4 %. Этот результат позволяет рекомендовать изложенный метод к использованию в прикладных эконометрических, социально- и технико-экономических работах. Но нужно иметь в виду, что погрешность результатов будет своя в каждом конкретном исследовании, поскольку она определена, прежде всего, теснотой связи между показателями и наблюдениями изучаемой области.

4.1.3. Восстановление недостающей информации в таблице социально-экономических показателей федеральных округов РФ (данные 2008 г.) В таблице 4.1.4 пять наблюдений были помечены как отсутствующие, в результате анализа получены следующие оценки (в скобках указано истинное значение и относительная погрешность оценивания).

Показатели социально-экономического положения федеральных округов Инвестиции в осн. капитал, млн. руб./чел.

США/чел.

Строит. жилых домов, тыс. кв. м./чел.

Стоим. фикс. набора потреб. товар. и усл. в 7502.1 7455.9 6415.3 6254.5 7170.6 6563.0 9043. дек., руб.

Стоим. мин. набора дек., руб Среднемес. начисленная з/п одного работн., 20459 19113 11783 13181 21707 15395 руб.

Просроч. задолж. по руб./чел.

Общая численность безработных, %/ В результате анализа получены следующие оценки (в скобках указано исходное значение и относительная погрешность оценивания): инвестиции в основной капитал, Центральный Федеральный Округ (ФО) – 93.929 (90.932, 3.30 %); иностранные инвестиции, Сибирский ФО – 363.271 (364.972, 0.47%); стоимость минимального набора продуктов питания в декабре, Северо-западный ФО – 2195.452 (2119.8, 3.57%), Сибирский ФО – 2062.149 (2128.8, 3.13%); общая численность безработных, Приволжский ФО – 0. (0.033, 12.12%).

Табл. 4.1.5 содержит две ошибки: одно значение в десять раз больше истинного, другое – в десять раз меньше (одна из характерных ошибок в таблицах данных при вводе информации – неправильное положение десятичного разделителя); ошибочные значения выделены.

Доллар США 25.69 25.58 25.44 25.43 25.57 25.45 25.63 25.77 25. Австралийский доллар Японская иена 20.92 20.86 20.85 21.17 21.56 21.46 22.02 22.37 22. В результате применения изложенного метода получены следующие результаты (форма представления та же, что и в предыдущем примере): курс евро (8-й столбец) – 35.031 (34.837, 0.56%);

курс австралийского доллара (3-й столбец) – 21.814 (22.308, 2.21%).

4.1.5. Восстановление пропущенных значений данных о валовом внутреннем продукте и валовой добавленной стоимости России В табл. 4.1.6 приведены данные о валовом внутреннем продукте и валовой добавленной стоимости в РФ по видам экономической деятельности (в ценах 2011 г., млрд. рублей).

Валовой внутренний продукт и валовая добавленная стоимость Были использованы следующие экономические показатели:

Валовой внутренний продукт в рыночных ценах;

Валовая добавленная стоимость в основных ценах;

Сельское хозяйство, охота и лесное хозяйство;

Рыболовство, рыбоводство;

Добыча полезных ископаемых;

Обрабатывающие производства;

Производство и распределение электроэнергии, газа и воды;

Строительство;

Оптовая и розничная торговля, ремонт автотранспорта;

Гостиницы и рестораны;

10.

Транспорт и связь;

11.

Финансовая деятельность;

12.

Операции с недвижимостью, аренда и предоставление услуг;

13.

Государственное управление и обеспечение безопасности;

14.

Образование;

15.

Здравоохранение и предоставление социальных услуг;

16.

Предоставление прочих коммунальных, соц. и персон. услуг;

17.

Налоги на продукты;

18.

Субсидии на продукты;

19.

Чистые налоги на продукты 20.

Результаты применения методики выявления недостающей информации с применением ранговых статистик (форма представления результатов аналогична ранее использованной): 6, 2009 г. – 4797.149 (4913.9, 2.47%); 15, 2007 г. – 766.413 (769.9, 0.45%); 19, 2008 г. – 222.281 (229.7, 3.22%); 19, 2010 г.– 229.163 (234.9, 2.47%).