«Организационно-экономическое моделирование В трех частях Часть 2 Экспертные оценки Допущено Учебно-методическим объединением вузов по университетскому политехническому образованию в качестве учебника для студентов ...»

Московский государственный технический университет им. Н.Э. Баумана

А.И.Орлов

Организационно-экономическое

моделирование

В трех частях

Часть 2

Экспертные оценки

Допущено Учебно-методическим объединением вузов

по университетскому политехническому образованию

в качестве учебника для студентов высших учебных заведений, обучающихся по направлению «Организация и управление наукоемкими производствами» специальности «Менеджмент высоких технологий»

Издательство МГТУ им.Н.Э. Баумана Москва 2011 2 Рецензенты:

кафедра «Системы управления экономическими объектами»

Московского государственного авиационного института технического университета (заведующий кафедрой, доктор экономических наук, профессор В.Д. Калачанов), заместитель директора Института проблем управления РАН член-корреспондент РАН Д.А. Новиков Орлов А.И.

Организационно-экономическое моделирование : учебник : в ч.. / А.И.Орлов. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009.

Ч. 2 : Экспертные оценки. – 2011. – 486 с.

Систематизированы ключевые процедуры теории и практики экспертных оценок, в том числе связанные с типовыми стадиями экспертного опроса, методами подбора экспертов, разработкой регламентов проведения сбора и анализа экспертных мнений.

Рассмотрены основные идеи современной теории измерений, согласования кластеризованных ранжировок, парных сравнений и люсианов, аксиоматического введения расстояний, оптимизационного определения итогового мнения комиссии экспертов, теории нечеткости и других математических и статистических методов анализа экспертных оценок. Обсуждена практика применения экспертных оценок в экономике и менеджменте, экологии, при оценке рисков и построении рейтингов, при прогнозировании и управлении качеством.

Материал учебника соответствует курсам лекций, которые автор читает в МГТУ им. Н.Э. Баумана.

Для студентов, преподавателей и специалистов, заинтересованных в применении современных методов экспертных оценок в технике, экономике, управлении, медицине, социологии и иных областях, а также для разработчиков таких методов и соответствующего программного обеспечения, исследователей в области прикладной и математической статистики, сбора и анализа экспертных данных, методов оптимизации, математического и организационно-экономического моделирования.

Содержание Предисловие……………………………………………………………… Часть 1. Теория и практика экспертных оценок………..………… Глава 1. Примеры процедур экспертных оценок…………………. 1.1. Индивидуальные и коллективные экспертные оценки 1.2. Оценка и выбор вариантов с помощью экспертов 1.3. Экспертное прогнозирование 1.4. Экспертные оценки на современном этапе Литература Контрольные вопросы Темы докладов, рефератов, исследовательских работ Глава 2. Организация работы экспертной комиссии…………….. 2.1. Основные стадии экспертного опроса 2.2. Подбор экспертов 2.3. О выборе цели экспертизы 2.4. Основания для классификации экспертных методов 2.5. Интуиция эксперта и компьютер Литература Контрольные вопросы Темы докладов, рефератов, исследовательских работ Глава 3. Теории измерений и экспертные оценки………………. 3.1. Основные шкалы измерения 3.2. Инвариантные алгоритмы и средние величины 3.3. Средние величины в порядковой шкале 3.4. Средние по Колмогорову Литература Контрольные вопросы и задачи Темы докладов, рефератов, исследовательских работ Глава 4. Методы средних рангов………………………………… 4.1. Экспертные ранжировки 4.2. Методы средних арифметических и медиан рангов 4.3. Метод согласования кластеризованных ранжировок Литература Контрольные вопросы и задачи Темы докладов, рефератов, исследовательских работ Глава 5. Принятие решений и голосование……………………… 5.1. Пример задачи принятия решения комиссией экспертов 5.2. Голосование - один из методов экспертных оценок 5.3. Парадокс Кондорсе 5.4. Основные понятия теории принятия решений и экспертные оценки Литература Контрольные вопросы и задачи Темы докладов, рефератов, исследовательских работ Часть 2. Математика экспертных оценок………………………… Глава 6. Математические методы анализа экспертных оценок.. 6.1. Основные математические задачи анализа экспертных оценок 6.2. Экспертные мнения и расстояния между ними 6.3. Аксиоматическое введение расстояний 6.4. Свойства медианы Кемени 6.5. Коэффициенты корреляции и конкордации Литература Контрольные вопросы и задачи Темы докладов, рефератов, исследовательских работ Глава 7. Бинарные данные и парные сравнения………………… 7.1. Теоретическое обоснование «турнирного» метода ранжирования вариантов 7.2. Теория случайных толерантностей 7.3. Метод проверки гипотез по совокупности малых выборок 7.4. Теория люсианов 7.5. Метод парных сравнений Литература Контрольные вопросы и задачи Темы докладов, рефератов, исследовательских работ Глава 8. Теория нечеткости и экспертные оценки……………… 8.1. Основы методологии нечеткости 8.2. Нечеткие множества 8.3. О статистике нечетких множеств 8.4. Теория нечеткости как часть теории вероятностей 8.5. Нечеткий экспертный выбор в контроллинге инноваций Литература Контрольные вопросы и задачи Темы докладов, рефератов, исследовательских работ Часть 3. Применения экспертных оценок………………………… Глава 9. Экспертные оценки в экологии…………………………. 9.1. Экспертные оценки в задачах экологического страхования и обеспечения экологической безопасности 9.2. Технологии экологических экспертиз 9.3. Общественная экологическая экспертиза 9.4. Экологические экспертизы с правовой точки зрения Литература Контрольные вопросы Темы докладов, рефератов, исследовательских работ Глава 10. Экспертные технологии оценки рисков……………… 10.1. Бизнес-процессы инновационных проектов 10.2. Инновационные проекты в вузах 10.3. Модель инновационного проекта 10.4. Прогнозирование рисков 10.5. Различные виды рисков 10.6. Управление рисками Литература Контрольные вопросы Темы докладов, рефератов, исследовательских работ Глава 11. Рейтинги…………………………………………………… 11.1. Оперативные методы принятия решений на основе экспертных оценок 11.2. Веса факторов 11.3. Бинарные рейтинги 11.4. Сравнение рейтингов и линейные рейтинги Литература Контрольные вопросы и задачи Темы докладов, рефератов, исследовательских работ Глава 12. Экспертные оценки – интеллектуальный инструмент организационно-экономических исследований….... 12.1. Экспертные оценки в маркетинговом исследовании 12.2. Экспертные технологии в системе «Шесть сигм»

';

12.3. Иерархическая система показателей технического уровня и качества продукции 12.4. Применение экспертных оценок при упорядочении системы государственных стандартов 12.5. Экспертные оценки в оценочной деятельности и инвестиционном менеджменте 12.6. Прогнозирование и метод сценариев Литература Контрольные вопросы Темы докладов, рефератов, исследовательских работ Приложение 1. Развитие теории экспертных оценок в России… Литература Приложение 2. Об авторе……………………………………………. Как изменится экономическая обстановка через десять лет?

Будут ли экологически безопасны города и промышленные предприятия или же вокруг окажется рукотворная пустыня?

Достаточно вдуматься в эти постановки вопросов, проанализировать, как десять лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть.

Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее, мы должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и более лет.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После Второй мировой войны в рамках кибернетики, теории управления, менеджмента и исследования операций стала быстро развиваться самостоятельная дисциплина - теория и практика экспертных оценок.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений. Для проведения работы по методу экспертных оценок создают рабочую группу. Она организует деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию. Лицо, принимающее решение – это тоже эксперт, так что можно констатировать, что любое решение – это решение эксперта!

технологиям сбора и анализа мнений экспертов, применению экспертных оценок. Он состоит из трех частей, разбитых на 12 глав.

Первая часть посвящена введению в теорию и практику экспертных оценок. Рассмотрены типовые процедуры экспертных оценок, основные стадии экспертного опроса и применение теории измерений для выбора способа усреднения мнений экспертов.

Разобраны методы средних арифметических и медиан рангов, согласования кластеризованных ранжировок. Проанализировано голосование как один из методов принятия решений.

Математические методы анализа экспертных оценок – предмет второй части. Рассмотрены подходы к аксиоматическому введению расстояний между ответами экспертов, оптимизационный подход к определению итогового мнения комиссии экспертов, свойства расстояния Кемени и медианы Кемени, использование коэффициентов корреляции и конкордации. Для анализа бинарных данных и результатов парных сравнений рекомендовано использовать теорию случайных толерантностей и люсианов. Обсуждены основы методологии нечеткости, сведение теории нечеткости к теории вероятностей и ее использование в экспертных технологиях.

В третьей части учебника рассмотрена практика применения экспертных оценок. Глава 9 посвящена задачам экологического страхования и обеспечения экологической безопасности, технологиям экологических экспертиз. Затем обсуждены экспертные технологии оценки рисков и управления ими, в том числе при выполнении инновационных проектов. В главе 11 построена теория рейтингов (основное внимание уделено бинарным и линейным рейтингам). В заключительной главе 12 экспертные оценки рассмотрены как интеллектуальные инструменты конкретных организационноэкономических исследований. Обсуждено их применение в маркетинговых исследованиях, в системе «Шесть сигм», при использовании иерархической системы показателей технического уровня и качества продукции и упорядочении совокупности государственных стандартов по статистическим методам управления качеством, в оценочной деятельности и инвестиционном менеджменте, при прогнозировании, в том числе методом сценариев.

Приложение посвящено состоянию теории экспертных оценок в нашей стране и обзору основных литературных источников по этой тематике. Приведена краткая информация о деятельности автора как научного работника и преподавателя.

Книга не требует для своего понимания ничего, кроме знания стандартных учебных курсов по высшей математике. Зачем же нужны литературные ссылки? Дотошный читатель при подготовке рефератов и при желании глубже проникнуть в материал учебника может обратиться к приведенным в каждой главе спискам цитированной литературы. Каждая из глав - это только введение в большую область теории и практики экспертных оценок, и вполне естественным является желание выйти за пределы введения. Приведенные литературные ссылки этому помогут.

Автор настоящего учебника более 35 лет постоянно занимается экспертной деятельностью как практик и как теоретик. В учебник включены теоретические и практические результаты, как достаточно давние (70-х гг.), так и полученные в последние годы. Читатели проследят их по литературным ссылкам, которые пригодятся и для углубленного изучения материала.

Теория экспертных оценок тесно связана с прикладной статистикой, эконометрикой, теорией принятия решений. Запросы теории экспертных оценок стимулировали развитие наиболее современной области прикладной статистики – нечисловой статистики. Однако мы не рассматриваем здесь математические результаты нечисловой статистики, равно как и многие вопросы теории принятия решений, поскольку они включены в часть настоящего учебника «Нечисловая статистика», а частично - в наши учебники «Прикладная статистика», «Эконометрика» и «Теория принятия решений», выпущенные издательством «Экзамен» в 2004 – 2006 гг..

Учебник включаем в серию книг по высоким статистическим технологиям. В нем рассмотрены современные методы анализа статистических данных, полученных от экспертов. Субъективные экспертные данные нет оснований противопоставлять объективным результатам измерений (наблюдений, испытаний, анализов, опытов), поскольку для их описания и анализа используются одни и те же вероятностно-статистические методы и модели. Книга написана в традициях отечественной вероятностно-статистической школы. Автор искренне благодарен своим учителям - академику АН УССР Б.Г.

Гнеденко, члену-корреспонденту АН СССР Л.Н. Большеву, проф. В.В.

Налимову.

Для кого эта книга? Для написания этой книги у автора было два стимула:

сделать доступным широкой массе читателей более чем исследовательского коллектива, действующего вокруг научного семинара «Экспертные оценки и анализ данных». Семинар организован в 1973 г. и работал сначала в МГУ им. М.В. Ломоносова, а затем в Институте проблем управления РАН. В рамках этого междисциплинарного коллектива создана отечественная научная школа в области экспертных оценок;

образовательных услуг.

Учебник может быть рекомендован различным категориям читателей.

Студенты дневных отделений управленческих и экономических специальностей, прежде всего специальности «Менеджмент высоких технологий», найдут в нем весь необходимый материал для изучения соответствующих разделов учебных курсов «Организационноэкономическое моделирование», «Эконометрика», «Прикладная статистика», «Управленческие решения», «Теория принятия решений», «Экономико-математическое моделирование», «Математические методы в экономике», «Маркетинговые исследования», «Математические методы оценки» и др.

Слушатели вечерних отделений, в том числе получающие второе образование по экономике и менеджменту, смогут изучить основы теории экспертных оценок и познакомиться с вопросами ее практического использования. Менеджеров, экономистов и инженеров, изучающих экспертные оценки и теорию принятия решений самостоятельно или в Институтах повышения квалификации, по программам переподготовки или получения академической степени «Мастер (магистр) делового администрирования» (Master of Business Administration - МВА) учебник познакомит с ключевыми идеями и позволит им выйти на современный уровень.

заинтересованных в применении современных методов экспертных оценок в любой предметной области; необходима разработчикам таких методов и соответствующего программного обеспечения.

Специалистам по теории вероятностей и математической статистике эта книга может быть интересна и полезна, поскольку в ней описан современный взгляд на экспертные технологии, основные подходы и результаты в этой области, открывающие большой простор для дальнейших математических исследований. Книга представляет интерес для исследователей — специалистов по вопросам управления, в том числе по принятию решений, методам оптимизации и математическому моделированию. Без нее не сможет обойтись ни один преподаватель, включающий в свои курсы разделы по экспертным оценкам, если он хочет, чтобы его лекционный курс был современным.

Включенные в книгу материалы прошли многолетнюю и всестороннюю проверку. Кроме МГТУ им. Н.Э. Баумана, они использовались при преподавании во многих других отечественных и зарубежных образовательных структурах.

Благодарности. Автор благодарен своим многочисленным студентам и слушателям, прежде всего различных образовательных структур Московского государственного технического университета им. Н.Э.Баумана, за полезные обсуждения. Особая благодарность – участникам научных конференций и семинаров, коллегам по работе в научно-учебном комплексе «Инженерный бизнес и менеджмент», на кафедре «Экономика и организация производства» и в Институте высоких статистических технологий и эконометрики МГТУ им. Н.Э.

Российской академии статистических методов.

Автор благодарен научному редактору В.И. Осипову, всем направления и большую работу по подготовке рукописи к изданию.

С текущей научной информацией по теории и практике экспертных оценок можно познакомиться на сайте «Высокие http://forum.orlovs.pp.ru/, а также на странице Лаборатории экономикоматематических методов в контроллинге http://www.ibm.bmstu.ru/nil/lab.html (на комплекса «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э. Баумана).

Достаточно большой объем информации содержит еженедельник (http://subscribe.ru/catalog/science.humanity.econometrika искренне благодарен разработчику сайтов и редактору электронного еженедельника А.А. Орлову за многолетний энтузиазм.

В учебнике изложено представление о теории и практике экспертных оценок, соответствующее общепринятому в мире.

Сделана попытка довести рассказ до современного уровня научных исследований в этой области. Автор будет благодарен читателям, если они сообщат свои вопросы и замечания по адресу издательства или непосредственно автору по электронной почте Е-mail: [email protected].

Часть 1. Теория и практика экспертных оценок Глава 1. Примеры процедур экспертных оценок Согласно англо-русскому словарю «expert» - это специалист.

Однако в русском языке слово «эксперт» приобрело дополнительные нюансы. Под экспертом понимают не просто специалиста (например, квалификацией и умеет использовать свою интуицию для решения поставленных перед ним задач, например, для диагностики, прогнозирования, выбора варианта технического или управленческого решения.

Ударение в слове «эксперт», как и в словах «маркетинг» и «творог», можно ставить как на первый слог, так и на второй. Оба английскому языку, ударение на второй слог больше подходит для русского языка.

Рассмотрим ряд примеров процедур экспертных оценок, одновременно вводя нужные для дальнейшего обсуждения термины.

1.1. Индивидуальные и коллективные экспертные оценки Экспертные оценки бывают индивидуальные и коллективные.

Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит на экзамене оценку студенту. Врач ставит диагноз больному и назначает лечение. Инспектор ГИБДД экспертно оценивает соблюдение правил дорожного движения водителем и прописывает лечение – штраф за нарушение правил.

Но в сложных случаях заболевания или при угрозе отчисления студента за плохую учебу обращаются к коллективному мнению оценки – решение суда присяжных. По простым делам судья принимает решение единолично; при рассмотрении тяжких преступлений законодательством предусмотрена возможность участия в принятии решений комиссии экспертов – присяжных заседателей.

Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: «Давать или не давать французам сражение под Москвой?»

Работа экспертной комиссии может быть растянута во времени.

Например, лечащий врач может отправить пациента на обследование врачам-специалистам, дать распоряжение провести различные анализы, флюорографию и т.п. Собрав мнения экспертов (в данном случае – врачей-специалистов) и проанализировав объективные данные, лечащий врач формулирует окончательное решение, выражающее мнение всей экспертной комиссии.

Индивидуальная экспертная оценка может потребовать от специалиста выполнения большого объема работы. Например, подготовка рецензии на рукопись книги или заключения оппонента о диссертации, представленной к защите на соискание ученой степени.

Обычно эксперт должен следовать тем или иным правилам, приведенным в нормативной и методической документации по определенному виду экспертной деятельности. Например, при оценке диссертации эксперт должен исходить из нормативных документов Высшей аттестационной комиссии РФ.

Индивидуальная экспертная оценка научно-технических проектов. В структуры государственной власти постоянно поступают научно-технические проекты, подготовленные различными организациями и отдельными гражданами. По каждой заявке требуется принять решение о целесообразности осуществления проекта и необходимом для этого содействии со стороны структур государственной власти (финансировании, организационных решениях).

Первый шаг – проект направляется на экспертизу. Эксперт Российского исследовательского научно-консультационного центра экспертизы (РИНКЦЭ) получает следующий документ.

которые должны быть отражены в заключении эксперта 1. Актуальность проекта.

2. Краткая характеристика положения в данной области в стране и за рубежом.

3. Научное значение проекта.

4. Научная новизна предлагаемых решений.

5. Прикладное значение проекта.

6. Новизна предлагаемых технических (технологических) решений.

7. Существующие отечественные и зарубежные аналоги (марка, тип, фирма, страна).

8. В чем заключается преимущество предлагаемых решений по сравнению с существующими в данной области в стране и за рубежом.

9. Сравнительные данные экономических показателей объекта и его аналогов (в сопоставимом виде).

10. Оценка потенциала разработчика - наличие научно-технического задела в данной области и в чем он выражается;

- наличие научно-производственной базы.

11. Обоснованность стоимости работ, оценка структуры затрат.

12. Реальность достижения поставленных целей:

- в предлагаемые сроки;

- предлагаемыми способами (методами) и ресурсами.

13. Возможность серийного освоения предлагаемого проекта.

14. Последствия создания и использования проекта:

- научные и научно-технические;

- экологические;

- гуманитарные;

- экономические;

15. Выводы:

- необходимость реализации проекта (полная, частичная);

- целесообразность финансирования (в целом, частично);

- рекомендации эксперта.

Мнение эксперта должно быть выражено в специальном документе – заключении. На все 15 приведенных выше вопросов эксперт должен ответить в своем заключении. Ясно, что этот документ должен быть достаточно объемным, а подготовка его трудоемка.

Когда нужна формализация мнений экспертов? Цели экспертизы могут различаться. Так, отзыв официального оппонента заканчивается выводом, соответствует или нет рассмотренная им диссертация требованиям ВАК РФ. Рецензент научного журнала делает в конце своего заключения вывод: может или нет данная статья необходимости сравнивать между собой различные объекты экспертизы.

Однако часто необходимо проводить такое сравнение. Научнотехнические или инвестиционные проекты нельзя рассматривать отдельно друг от друга, поскольку ограничено суммарное финансирование, выделенное на всю совокупность проектов.

Насколько подходят для сравнения объектов экспертизы обширные заключения, подготовленные различными экспертами? С высококвалифицированного труда по оценке содержания проектов. С другой стороны, написанные в свободной манере заключения не всегда позволяют сопоставить между собой отдельные характеристики проектов. Поэтому эксперты РИНКЦЭ заполняют еще один формализованный документ.

Научная значимость:

1. Исключительно высокая 2. Значительная 3. Невысокая 4. Неопределимая (в настоящее время) 5. Отсутствует Практическая значимость:

1. Исключительно высокая 2. Значительная 3. Невысокая 4. Неопределимая (в настоящее время) 5. Отсутствует Научная новизна, оригинальность:

1. Не имеет аналогов 2. Нет аналогов в стране, есть за рубежом 3. Нет аналогов за рубежом, есть в стране 4. Есть сведения об отдельных отечественных и зарубежных аналогах 5. Научная новизна отсутствует Методы и способы достижения цели:

1. Новые 2. Современные 3. Традиционные 4. Устаревшие 5. Неадекватные Потенциал исполнителей в рассматриваемой области:

1. Достаточный 2. Недостаточный в части научного задела (опыта работы) 3. Недостаточный в части материально-технической (лабораторноэкспериментальной) базы 4. Недостаточный в части состава исполнителей 5. Данных для оценки недостаточно Срок работы:

1. Реальный 2. Завышен 3.Занижен 4. Данных для оценки недостаточно Стоимость работ (объем финансирования):

1. Приемлемая 2. Завышена 3.Занижена 4. Данных для оценки недостаточно Рекомендуемый приоритет осуществления:

1. Работа первостепенной важности 2. Работа высокой важности 3. Работа представляет определенный интерес 4. Работа представляет незначительный интерес, но заслуживает поддержки при наличии достаточных средств 5. Работа поддержки не заслуживает Дата_ЭкспертПодпись При заполнении «Карты оценки объекта экспертизы» ничего писать не надо. Следует лишь обвести номера тех пунктов в каждом из разделов, которые соответствуют мнению экспертов. В разделе «Потенциал исполнителей» могут быть обведены несколько номеров, в остальных разделах – по одному. По «Карте оценки объекта экспертизы» легко сравнивать мнения экспертов между собой, а также сопоставлять различные объекты экспертизы.

В конце «Карты оценки объекта экспертизы» предусмотрена подпись эксперта. Эксперт несет ответственность за свое заключение – уголовную, административную, материальную, гражданскоправовую. Экспертные исследования принципиально отличаются от маркетинговых и социологических, в которых подчеркивается анонимность опрашиваемых [1, гл.2].

Различные типы вопросов. В экспертных исследованиях, а также в выборочных маркетинговых и социологических опросах используют три типа вопросов - закрытые, открытые и полузакрытые, они же полуоткрытые. При ответе на закрытые вопросы можно выбирать лишь из заранее сформулированных составителями анкеты вариантов ответа. В качестве ответа на открытый вопрос опрашиваемого просят изложить свое мнение в свободной форме.

промежуточное положение - кроме выбора среди перечисленных в анкете вариантов, можно добавить свои соображения. Ясно, что «Вопросы, которые должны быть отражены в заключении эксперта», являются открытыми, а «Карта оценки объекта экспертизы» состоит из закрытых вопросов.

Каждый из этих типов вопросов имеет свои достоинства и недостатки. Преимущество открытых вопросов в том, что эксперт может свободно высказать свое мнение так, как сочтет нужным. Их недостаток в сложности сопоставления мнений различных характеристик организаторы опроса вынуждены сами шифровать ответы на открытые вопросы, применяя разработанную ими схему шифровки.

Преимущество закрытых вопросов в том, что такую шифровку проводит сам эксперт. Однако при этом организаторы опроса уподобляются древнегреческому мифическому персонажу Прокрусту.

Как известно, Прокруст приглашал путников заночевать у него.

Укладывал их на кровать. Если путник был маленького роста, он вытягивал его ноги так, чтобы они доставали до конца кровати. Если же путник оказывался высоким и ноги его торчали - он обрубал их так, чтобы достигнуть стандарта: «рост» путника должен равняться длине кровати. Так и организаторы опроса, применяя закрытые вопросы, заставляют эксперта «вытягивать» или «обрубать» свое мнение, чтобы выразить его с помощью приведенных в формулировке вопроса возможных ответов.

Ясно, что для обработки данных по группам и сравнения групп между собой нужны формализованные данные, и фактически речь может идти лишь о том, кто именно – эксперт или организатор экспертизы - будет шифровать ответы.

На этапе подготовки важного экспертного опроса проводят «пилотное» исследование – апробацию документов и процедур анализа ответов, которые будут собраны в ходе будущего опроса. В пилотном исследовании участвует небольшое число экспертов. Цель их работы – проверить доступность задач опроса и документации пониманию экспертов, работоспособность расчетных процедур, уточнить формулировки вопросов и способы сбора и анализа экспертных мнений. В рамках пилотного исследования может быть проведена предварительная экспертиза, специально посвященная отработке перечня и формулировок вопросов.

1.2. Оценка и выбор вариантов с помощью экспертов Рассмотрим несколько процедур коллективных экспертных оценок, начиная с простейших, при этом вводя и обсуждая используемые в дальнейшем понятия.

Оценка номеров в КВН. Простейший пример коллективных экспертных оценок - оценка номеров в известной игре КВН (Клуб веселых и находчивых). Экспертной комиссией является жюри.

Просмотрев номер, каждый из членов жюри поднимают планшет со своей оценкой. Затем технический работник (не член жюри) вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений). Обратим внимание на технического работника. После обработки экспертных мнений он доступными всем желающим. Он представляет коллектив тех, кто обеспечивает организацию и проведение экспертизы. Этот коллектив сопровождения» [2].

настоящем учебнике – это экспертная комиссия (ЭК) и рабочая группа.

Фигурное катание. В фигурном катании процедура обработки оценок экспертов усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

Пусть X1, X2, …, Xn – оценки n экспертов. При проведении КВН в качестве коллективной экспертной оценки используют среднее арифметическое всех n оценок В фигурном катании нужно переставить элементы выборки в порядке возрастания (точнее, неубывания) и получить вариационный ряд X(1) < X(2) < … < X(n), исключить минимум X(1) и максимум X(n), а затем в качестве коллективной экспертной оценки взять урезанное среднее арифметическое, т.е. среднее арифметическое оставшихся (n – 2) членов вариационного ряда С точки зрения прикладной математической статистики, X* - это робастная оценка теоретического среднего, нацеленная на борьбу с аномальными (резко выделяющимися) результатами наблюдений.

Аномальные результаты порождены внешними влияниями на судей фигурного катания, искажающими их профессиональные экспертные оценки, поэтому простое изменение правил расчетов итоговой оценки (переход от среднего арифметического к урезанному среднему) позволяет уберечь экспертов от вызванных извне уклонений от решения поставленных перед ними задач.

Итак, правила обработки оценок экспертов существенно влияют на объективность выводов экспертной комиссии.

Экспертный выбор. Экспертные оценки часто используются при выборе - одного варианта технических устройств из нескольких, группы космонавтов из многих претендентов, набора проектов научно-исследовательских работ для финансирования из массы заявок, получателей экологических кредитов из многих желающих, выбор инвестиционных проектов для реализации среди представленных, и т.д.

Типовая ситуация такова. Заказчик формулирует технические требования к будущему изделию. Объявляется конкурс (тендер), итогом которого должен быть быт выбор той или иной разработки для серийного выпуска. Допущенные к конкурсу организации к заданному сроку представляют опытные образцы. Как правило, оказывается, что эти образцы несравнимы; каждый из них по каким-то важным показателям качества лучше других, а по другим важным показателям – хуже того или иного из остальных образцов. Например, у одного опытного образца дальность полета больше, у другого – расход топлива на 1000 км меньше, у третьего - потолок полета выше, у четвертого – броня крепче, у пятого – под крыльями можно дополнительно подвесить две ракеты. Какой стратегический бомбардировщик (из разработанных разными конструкторскими бюро и представленных на тендер) выбрать для серийного производства?

Задача экспертной комиссии – выбрать опытный образец для запуска в серийное производство. Есть два принципиально разных подхода к решению этой задачи.

Первый подход основан на сравнении образцов. Например, каждый из экспертов упорядочивает образцы в соответствии со своими предпочтениями. Полученные от экспертов упорядочения (ранжировки) обрабатываются теми или иными математическими методами с целью расчета итогового мнения комиссии экспертов. В предъявляются попарно для сравнения, математический анализ результатов парных сравнений позволяет найти итоговое мнение. В третьем варианте каждого эксперта просят выбрать три лучших образца, и т.д.

важность различных показателей качества, построить интегральный показатель качества (рейтинговую оценку), с помощью которого можно упорядочить образцы по качеству (рассчитать рейтинг образцов). Пусть, например, выделено (с помощью предварительного экспертного исследования) m показателей качества. Для конкретного объекта экспертизы экспертная комиссия оценивает эти показатели Y1, Y2, …, Ym, затем РГ рассчитывает значение интегрального показателя качества На основе полученных значений Y можно выбрать наилучший образец, упорядочить образцы по качеству, указав рейтинг образцов, т.е. значения интегрального показателя, соответствующие образцам.

Значения коэффициентов ai (коэффициентов важности, весомости, значимости) обычно определяются с помощью той или иной экспертной процедуры.

Кроме аддитивной формы интегрального показателя, часто используют мультипликативный вариант этого показателя:

в котором показатели степени bj обычно также определяются экспертным путем.

Вопросы построения рейтингов подробно рассмотрены ниже в соответствующей главе учебника.

Кроме задачи выбора наилучшего (с точки зрения экспертов) проектов или заявок на выполнение научно-технических проектов (работ). Естественно упорядочить объекты экспертизы по качеству (рентабельности, привлекательности и т.п.), а затем выделять необходимые объемы финансирования, начиная с наилучшего объекта. Тогда начальная часть вариационного ряда показателей качества будет соответствовать профинансированным объектам экспертизы, а заключительная – тем, кому финансирования не досталось.

На границе между этими двумя группами возможны нюансы.

финансирование худшего, чем A, объекта экспертизы B средств достаточно. Тогда объект B будет финансироваться, а объект A – нет, вопреки рейтингу.

Военные советы как форма экспертной деятельности. С тех специалистов. Поэтому можно сказать, что экспертным оценкам Например, появилась идея независимой экспертизы. Ее можно сопоставить с идеей разделения власти на законодательную, исполнительную и судебную ветви в предположении независимости ветвей власти.

Весьма важен регламент проведения заседания комиссии экспертов. В «Капитанской дочке» (глава X) А.С. Пушкин приводит слова, с которыми генерал, комендант Оренбурга, обратился к членам военного совета:

«Теперь, господа, - продолжал он, - надлежит решить, как нам действовать противу мятежников: наступательно или оборонительно? Каждый из оных способов имеет свою выгоду и невыгоду. Действие наступательное представляет более надежды на скорейшее истребление неприятеля; действие оборонительное более верно и безопасно.… Итак, начнем собирать голоса по законному порядку, то есть, начиная с младших по чину. Г-н прапорщик! – продолжал он, обращаясь ко мне. – Извольте объяснить нам ваше мнение».

Военный совет в данном случае – это собрание экспертов (военных специалистов). Председатель собрания четко поставил задачу: надо выбрать либо наступление, либо оборону. Обсуждение идет в однозначно заданном порядке – от младших к старшим.

Младшие могут спокойно высказывать свои мысли, не боясь, что их предложения будут противоречить мнению старших. Старшие имеют возможность учесть высказанные аргументы и сделать свои выступления более обоснованными.

Важность соблюдения регламента проведения заседания экспертной комиссии становится особенно ясной при сопоставлении с распространенным в XVII в. местничеством. Бояре постоянно спорили, кто из них главнее, следовательно, кто должен сидеть ближе к царю и говорить раньше и больше других. Заседание постоянно прерывалось схватками, иногда не только словесными, между его участниками. Повышению эффективности заседаний весьма способствовало введение Петром I системы чинов и регламентации служебных взаимоотношений в соответствии с нею. И в настоящее время общепринятой практикой является выбор (или назначение) в начале собрания председателя и секретаря и утверждение регламента.

Наиболее известный в истории России военный совет состоялся 1 сентября 1812 г. в Филях, вскоре после Бородинского сражения.

Обсуждался вопрос: «Дать французам сражение под Москвой или оставить Москву без боя?» Решение должен был принять главнокомандующий (и одновременно министр обороны) генералфельдмаршал М.И. Кутузов. Военный совет, как и любая комиссия экспертов – совещательный орган, а окончательные решения принимает тот, кому это поручено. В современной литературе такой человек обозначается как лицо, принимающее решение, сокращенно ЛПР (по первым буквам).

Большинство экспертов, рассказав о состоянии своих войск, высказалось за сражение. Однако, учитывая тяжелые потери русской армии, ЛПР (т.е. Кутузов) принял решение оставить Москву без боя.

Аргументировал это решение Кутузов так: «Оставив Москву, мы сохраним армию; потеряв армию, мы потеряем и Москву, и Россию».

И 2 сентября 1812 г. русские войска без боя оставили Москву, с ними ушла и половина московского населения (около 100 тыс. человек).

Как известно, это решение Кутузова предопределило поражение Наполеона в войне и изгнание захватчиков.

Итак, ЛПР поступил вопреки мнению большинства экспертов.

Значит ли это, что работа экспертной комиссии (ЭК) пропала впустую? Отнюдь! Собранная экспертами информация использована ЛПР. Продемонстрированный генералами русской армии боевой дух, готовность сражаться с врагом также были учтены ЛПР, наряду с теми соображениями, которые не могли знать эксперты и которые были приняты во внимание ЛПР.

Обсуждение регламента проведения заседаний и организации экспертного исследования в целом, взаимоотношений ЛПР и ЭК касаются всех видов экспертных оценок, отнюдь не только военных советов.

Перейдем к развитию экспертных исследований в ХХ в.

Кибернетика – основа управления. Большое влияние на развитие исследований в области управления в целом и менеджмента в частности оказало появления в 1948 г. книги американского математика Норберта Винера (1894-1964) «Кибернетика, или управление и связь в животном и машине» [3]. Через два года вышла его книга «Кибернетика и общество» [4]. Началось мощное научное движение, ключевые слова которого – кибернетика, исследование операций, системный анализ, математическое моделирование, оптимальное управление, экспертные оценки и др. Оно до сих пор определяет лицо современной науки об управлении. В нашей стране огромную роль в развертывании исследований по кибернетике сыграл академик АН СССР адмирал-инженер Аксель Иванович Берг (1893С 50-х гг. до последних дней жизни он возглавлял Научный Совет АН СССР по комплексной проблеме «Кибернетика».

Один из вождей отечественного кибернетического движения академик РАН Никита Николаевич Моисеев (1917-2001) в своей книге [5] приводит ряд фактов, позволяющих проследить историю кибернетических идей. Он обращает внимание на книгу профессора Бронислава Трентовского «Отношение философии к кибернетике как искусству управления народами», вышедшую в Познани в 1843 г. (за 105 лет до книги Н. Винера) на польском языке. Для образованных «кибернетика» было вполне понятно. Оно означало систему взглядов, знаний, навыков, которой должен был обладать управляющий, чтобы эффективно управлять людьми и ресурсами, находящимися в его распоряжении. Большой вклад в кибернетику в целом и в теорию Петербургской академии наук Евграф Степанович Федоров (1853и особенно Александр Александрович Богданов (1873-1928), деятель российского революционного движения, врач, философ, экономист (настоящая фамилия – Малиновский). С 1926 г. организатор и директор Института переливания крови. Погиб, производя на себе медицинский опыт. Основное сочинение А.А.

Богданова – трехтомная «Всеобщая организационная наука (тектология)». Первый том напечатан в 1913 г. Полностью книга выходит в 1925-1929 гг.

Многие идеи кибернетики были известны задолго до Н.Винера (хотя сам он об этом, скорее всего, и не догадывался). Почему же именно книга Н. Винера послужила толчком к развитию работ по теории управления, а не работы Трентовского, Федорова, Богданова?

Одно из возможных объяснений - «Кибернетика» Винера появилась вовремя, после Второй мировой войны, когда стали выделять большие ресурсы на развитие науки (это было реакцией правительств на продемонстрированную в Хиросиме и Нагасаки роль науки в практике).

После Второй мировой войны в рамках научного движения, включающего кибернетику, информатику, системный анализ, теорию управления, менеджмент и исследование операций, стала развиваться самостоятельная научно-практическая дисциплина теория и экспертных оценок - это метод Дельфи. Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма (пифии), надышавшись отравы, начинали пророчествовать, произнося непонятные слова.

Специальные «переводчики» - жрецы храма толковали эти слова и отвечали на вопросы пришедших со своими проблемами паломников.

Те спрашивали, отправляться ли в морское путешествие, вступать ли в брак, заключать ли договор с тем или иным деловым партнером, начинать ли войну, и т.д.

Технология экспертного оценивания состояла в следующем.

Получив «заказ на экспертное прогнозирование», жрецы передавали его пифиям, выслушивали пророчества пифий, а затем толковали услышанное заказчику. С течением времени в храме накапливались пожертвования и памятные доски от тех, для кого прогнозы сбылись.

Если же прогноз не осуществился, то сообщить об этом зачастую было некому, - заказчик лежал на морском дне или был убит в битве, разорен и продан в рабство, и т.п.

По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв.

Это вытекает из высшего достижения современной исторической науки - новой статистической хронологии.

В США в 60-х гг. методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы экспертов, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям.

Эти средние значения и выдавались заказчику как групповое мнение.

Реальные результаты исследования оказались довольно скромными хотя дата высадки американцев на Луну была предсказана с точностью до месяца; все остальные прогнозы провалились холодного термоядерного синтеза и средства от рака в ХХ в.

человечество не дождалось.

Однако сама методика оказалась популярной - за последующие 15 лет она использовалась не менее 40 тыс. раз. Это объяснялось впечатлением от беспрецедентного успеха предсказания даты высадки на Луну. Можно констатировать, что именно этот успех выдвинул методы экспертные оценки на роль самостоятельного научнопрактического направления, с которым должны быть знакомы все инженеры и управленцы, а также деятели иных специальностей.

Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Метод сценариев. Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый для экспертного прогнозирования.

Рассмотрим основные идеи технологии сценарных экспертных прогнозов.

прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось.

Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если во втором туре победит Б.Н. Ельцин, то будет то-то и то-то, если же победит Г.А. Зюганов, то события пойдут так-то и так-то.

Метод сценариев необходим не только в социальноэкономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев происхождением, развитием, последствиями, возможностями предупреждения.

Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. Каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

- прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Существенная часть рассуждений проводится на качественном гуманитарных науках. Одна из причин в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств, приводит к весьма громоздким математическим моделям.

Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д.

Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария.

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе), в том числе анализа результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Мозговой штурм. Еще один вариант экспертного оценивания мозговой штурм - организуется как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, «заражаясь» друг от друга, высказывают все более экстравагантные соображения. Часа через два записываемое на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно за время дискуссии высказывается около 100 идей. Из них примерно заслуживают дальнейшей проработки, 5-6 идей дают возможность сформулировать прикладные проекты, а 2-3 идеи оказываются в итоге приносящими полезный эффект - прибыль, перевод конфликта в сотрудничество, повышение экологической безопасности, оздоровление окружающей природной среды и т.п.

Интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: «Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс». После проработки эта идея привела к созданию устройств, создающих волны, сбивающие торпеду с курса.

1.4. Экспертные оценки на современном этапе деятельности так или иначе связаны с проведением экспертиз. Врачи и преподаватели, управленцы (менеджеры) и инженеры, юристы и экономисты – все они в той или иной степени эксперты.

Классифицировать основные виды экспертной деятельности можно по областям конкретной профессиональной деятельности, а также по тем задачам, которые решают с помощью экспертных исследований.

По областям конкретной профессиональной деятельности выделяют следующие виды экспертиз:

- строительная, - медицинская, - экологическая, в том числе объектов недропользования, - товароведческая, - экспертиза качества товаров, - экспертиза при оценке имущества, бизнеса, нематериальных активов, и т.д. [6].

Экспертная деятельность в конкретных областях обычно регулируется соответствующими нормативными актами и осуществляется в соответствии с теми или иными методическими материалами. В дальнейших главах в качестве примера нормативного регулирования экспертной деятельности будем рассматривать Федеральный закон от 23 ноября 1995 г. N 174-ФЗ «Об экологической экспертизе».

При классификации по решаемым задачам выделяют [6] оценочные и управленческие экспертизы.

Результатами оценочных экспертиз являются:

параметров, характеристик объектов);

- отнесение объектов экспертизы к тому или иному виду объектов, классу объектов, сорту;

- ранжирования объектов по тому или иному свойству, качеству, показателю, критерию;

- рейтинги, позволяющие определить численные значения, характеризующие сравнительную предпочтительность объектов экспертизы;

- индексы, позволяющие оценить (характеризующие) состояние объектов экспертизы, используемые для оценивания объектов экспертизы (конкретные виды объектов числовой или нечисловой природы рассматриваются в следующих главах учебника).

Примерами результатов оценочных экспертиз, в частности, являются:

- результаты определения победителей конкурсов, тендеров, подрядных торгов, иных соревнований;

- рейтинги организаций (промышленных предприятий, вузов, банков, страховых компаний), ценных бумаг, политических деятелей, бизнесменов и спортсменов;

- индексы (Доу-Джонса и др.), характеризующие движение курсов ценных бумаг на биржах.

Результатом управленческих экспертиз является подготовка рекомендаций и заключений на всех этапах цикла выработки, принятия и реализации управленческих решений. К их числу относятся экспертизы при:

- выработке стратегии и тактики (определении стратегических целей, приоритетов деятельности, планов, организационных структур, разработке бизнес-планов и т.д.);

ситуационного анализа, включая разработку прогнозов и сценариев;

- генерировании и отборе альтернативных вариантов решений;

- оценке альтернативных вариантов решений и определении наиболее предпочтительного из них;

- контроле хода реализации принятых решений;

- корректировке принятых ранее управленческих решений на основании оценки хода реализации принятых решений.

Конечно, эти перечни не являются исчерпывающими. Они позволяют составить представление о том, насколько разнообразны задачи экспертных оценок и области их практического применения.

Согласимся с мнением проф. Б.Г. Литвака, что экспертизы необходимы на всех стадиях управленческого цикла, в какой бы профессиональной экспертизы нет сегодня профессионально принятого решения!

Разработана масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других число экспертов растет в процессе проведения экспертизы, например, при использовании метода «снежного кома» (о нем - ниже). Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. В дальнейших главах книги на основе методологии, развитой в [7], рассмотрены современные методы экспертных оценок.

1. Орлов А.И. Эконометрика: Учебник для вузов. Изд. 3-е, переработанное и дополненное. - М.: Изд-во «Экзамен», 2004. – 576 с.

2. Сидельников Ю.В. Технология экспертного прогнозирования:

Учебное пособие. Изд. 2-е, исправл. – М.: Доброе слово, 2004. – 284 с.

3. Винер Н. Кибернетика, или управление и связь в животном и машине / Второе издание. – М.: Советское радио, 1968. – 326 с.

4. Винер Н. Кибернетика и общество. – М.: Изд-во иностранной литературы, 1958. – 200 с.

5. Моисеев Н.Н. Люди и кибернетика. – М.: Молодая гвардия, 1984. – 224 с.

6. Литвак Б.Г. Экспертиза в России / Заводская лаборатория. 2000. Т.

66. № 7. С. 61-66.

7. Орлов А.И. Экспертные оценки / Заводская лаборатория. 1996. Т.62.

No.1. С.54-60.

1. Приведите примеры индивидуальных экспертных оценок.

2. Почему необходима формализованная карта оценки объекта экспертизы?

3. Приведите примеры коллективных экспертных оценок.

4. Расскажите о задачах выбора вариантов с помощью экспертов.

5. Почему большое внимание уделяют регламенту проведения экспертных исследований?

6. Опишите метод Дельфи экспертного прогнозирования.

7. Расскажите о методе сценариев.

7. Что такое «мозговой штурм»?

8. В каких конкретных областях используют методы экспертных оценок?

Темы докладов, рефератов, исследовательских работ 1. Индивидуальное экспертное оценивание (на примере работы преподавателя).

2. Варианты коллективного экспертного оценивания в медицине.

3. Робастное оценивание в экспертизе.

4. Экспертные технологии распределения финансирования.

5. Технологии экспертного прогнозирования.

6. Метод сценариев и экспертная оценка рисков в инвестиционном менеджменте.

7. Экспертные технологии в технико-экономическом анализе.

8. Статистика нечисловых данных в оценочных экспертизах.

9. Управленческие экспертизы в контроллинге.

Глава 2. Организация работы экспертной комиссии Познакомившись с примерами процедур экспертных оценок, обсудим общие вопросы организации экспертного исследования.

2.1. Основные стадии экспертного опроса Рассмотрим подробнее отдельные этапы типового экспертного исследования. Как показывает практический опыт, с точки зрения менеджера-организатора такого исследования, целесообразно выделять следующие стадии проведения экспертного опроса.

1. Принятие решения о необходимости проведения экспертного опроса и формулировка его цели ЛПР. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.

Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР. Цель экспертного исследования ЛПР может сформулировать по-разному, и от этой формулировки зависит выбор процедуры экспертизы.

2. Подбор и назначение ЛПР основного состава Рабочей Группы (РГ). Обычно - научного руководителя и ответственного секретаря.

Научный руководитель отвечает за организацию и проведение экспертного исследования в целом, за анализ собранных материалов и подготовку заключения экспертной комиссии; участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело ответственного секретаря - ведение документации экспертного опроса, решение организационных задач. Назначение научного руководителя и ответственного секретаря оформляется распорядительным документом (приказом, постановлением и т.п.).

Остальной состав РГ обычно формируется в процессе развертывания исследования, причем по предложениям научного руководителя и ответственного секретаря.

3. Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и ответственным секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется костяк РГ со своей внутренней структурой. Обычно в РГ выделяются различные группы специалистов аналитическая, эконометрическая экспертами (например, интервьюеров), организационная. Возможно совмещение ролей – один и тот же сотрудник может и отвечать за выбор метода анализа экспертных мнений, и сам же проводить этот анализ. Очень важно для успеха, чтобы все перечисленные позиции были включены в техническое задание и утверждены ЛПР.

4. Разработка аналитической группой РГ подробного сценария (т.е. регламента, правил) проведения сбора и анализа экспертных мнений (оценок). Термин «сценарий» имеет примерно тот же смысл, что и в театре и кинематографе. Сценарий включает в себя анкеты и опросные листы (планы интервью), определяющие конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций (см. примеры в разд.1.1).

Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики (о некоторых из названных методов речь пойдет ниже, см. также [1]). Эта работа ложится на эконометрическую и компьютерную группу РГ.

Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный практический опыт, информация используется не более чем на 1-2%.

В большом ворохе беспорядочно собранных фактов, как правило, отсутствует необходимая упорядоченность. А именно, значения отдельных показателей собраны с пропусками, способы измерения меняются от одного эксперта к другому, от одного объекта экспертизы к другому (как говорят, определения «плывут»), сам перечень показателей не позволяет ответить на интересующие ЛПР вопросы, и т.д.

Сценарий утверждается научным руководителем ЭК.

5. Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования. Итоговый перечень должен включать по крайней мере в 1,5 раза больше потенциальных экспертов, чем то количество, которое планируется реально привлечь к работе.

6. Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в ЭК. Возможно, часть намеченных РГ (на стадии 5) экспертов не сможет войти в ЭК (болезнь, отпуск, командировка и др.) или откажется по тем или иным причинам (занятость, условия контракта и др.). В обязательном порядке ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты. На этой же стадии завершается формирование РГ.

7. Проведение сбора экспертной информации в соответствии с разработанным на стадии 4 сценарием. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

8. Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует компьютеризация экспертных мнений, т.е. создание и наполнение соответствующих баз данных или электронных таблиц.

9. При применении (согласно сценарию) экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10. Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР. Форма заключения ЭК обычно задается в техническом задании. В Федеральном законе «Об экологической экспертизе» [2] требованиям к заключению ЭК посвящена обширная статья 18.

11. Официальное окончание деятельности ЭК и РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

Научный отчет РГ должен позволять восстанавливать все подробности деятельности ЭК на основе документов. В него должны быть включены все полученные от экспертов материалы и протоколы компьютерной обработки данных. Этот отчет может быть использован в суде и арбитражном суде, если заинтересованные организации и лица сочтут нужным оспорить выводы ЭК в судебном порядке.

исследования. Начнем с подбора экспертов: кадры решают все!

Каковы эксперты - таково и качество заключения экспертной комиссии.

Проблема подбора экспертов - одна из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

Сейчас не будем обсуждать проблему существования различных «партий» среди экспертов и обратим внимание на иные стороны процедур подбора экспертов.

составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Составление списка возможных экспертов облегчается, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.

Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод «снежного кома». Это – вспомогательное экспертное исследование. Название связано с ассоциацией с известной всем процедурой, когда небольшой снежок много раз поворачивается по поверхности свежевыпавшего снега. При каждом повороте на снежок налипает новый слой. В результате получается большой снежный ком.

Метод «снежного кома». В качестве затравки используется подобранная РГ небольшая (3-5 человек) группа потенциальных экспертов. В методе «снежного кома» от каждого специалиста, привлекаемого в качестве эксперта, получают определенное количество (обычно 5 - 10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться или когда список достигает необходимого размера. В результате получается достаточно обширный список возможных экспертов.

Рассмотрим условный пример. В качестве затравки РГ подобрала 5 потенциальных экспертов. Каждый из них назвал новых фамилий. Всего РГ получила 50 фамилий. После исключения повторов и лиц, которые не смогут быть экспертами, в списке осталось 40%, т.е. 20 новых фамилий. На следующем туре РГ получает суммарно 200 фамилий. Пусть из них только 30% тех, которые можно добавить к списку. Это 60 человек. При их опросе получаем 600 фамилий. Если из них только 20% реально добавляется к списку, то итог этого тура – 120 фамилий. Подведем итог. В списке уже 5 + 20 + 60 + 120 = 205 фамилий. Можно остановиться, поскольку на основе этого списка, очевидно, можно сформировать ЭК (типовое число членов ЭК – от 10 до 30).

Метод «снежного кома» имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать.

Нельзя априори надеяться, что в обозримой окрестности имеется достаточное число экспертов. Кроме того, ясно, что если на первом этапе все эксперты были из одного «клана», придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод «снежного кома» даст, скорее всего, лиц из этого же «клана». Мнения и аргументы других «кланов» будут упущены.

Здесь речь идет о том, что сообщество специалистов реально разбито на группы, названные выше «кланами», и общение идет в основном внутри «кланов». Неформальная структура науки, к которой относятся «кланы», достаточно сложна для изучения. Отметим, что «кланы» обычно образуются на основе крупных формальных центров (вузов, научных институтов), научных школ [3].

Компетентность экспертов. Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...) в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие «компетентность» строго не определено.

усложняется предварительная часть деятельности ЭК.

Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало.

Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям. Нам известен доцент МГУ им.

М.В. Ломоносова, написавший добротный университетский учебник по математической статистике, который заявляет, что он не является специалистом по математической статистике. Видимо, он признает себя специалистом лишь в той узкой научной области, которой посвящены его последние научные статьи. Подобный гиперкритицизм по отношению к себе представляется непродуктивным. Более естественной выглядит рекомендация проф. Е.С. Вентцель: «Если вы хотите изучить какой-либо предмет, напишите по нему книгу».

Действительно, при написании книги приходится разбираться в рассматриваемом вопросе и к концу составления текста становиться высококвалифицированным специалистом – экспертом.

компетентности конкретного эксперта дают другие эксперты (или кандидаты в эксперты), помимо возможности проявления личностных осведомленность экспертов о профессиональных возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они «вместе пуд соли съели». (По примерному расчету, если каждый рабочий день обедать вместе и солить блюда из одной солонки, пуд соли будет съеден за 3,5 года.) Однако привлечение таких пар специалистов в ЭК не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социальнопсихологические) качества. Так, один-единственный «говорун» может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Подбор экспертов – одна из основных функций РГ, и никакие методики подбора не снимают с нее ответственности. На РГ лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

Нормативное регулирование состава экспертов. Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации «Об экологической экспертизе» от ноября 1995 г., в котором регламентируется процедура экспертизы «намечаемой хозяйственной или иной деятельности» с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде. В этом законе указаны дополнительные требования к экспертам, призванные обеспечить их независимость от внешних влияний. Так, в статье 16, часть 2, сказано:

«Экспертом государственной экологической экспертизы не может быть представитель заказчика документации, подлежащей государственной экологической экспертизе, или разработчика объекта государственной экологической экспертизы, гражданин, состоящий в трудовых или иных договорных отношениях с указанным заказчиком или с разработчиком объекта государственной экологической экспертизы, а также представитель юридического лица, состоящего с указанным заказчиком или с разработчиком объекта государственной экологической экспертизы в таких договорных отношениях».

Используется и принципиально иной подход к подбору экспертов, согласно которому совокупность экспертов состоит из тех, кто сам себя объявил таковыми. Примерами являются разнообразные опросы, приводимые в Интернете и регулярно публикуемые на сайте http://rbc.ru (РБК – РИА «РосБизнесКонсалтинг») и http://voxru.net (Глас РУНЕТа - служба опросов интернет-аудитории). В отличие от метода самооценки, здесь требуется и волевой импульс от эксперта – решение об участии в опросе. В случаях, когда какие-либо материалы предлагаются к обсуждению, от самовыдвинувшихся экспертов получают ответы на открытые вопросы (а не на закрытые, как в случае опросов РБК). Письма и обращения, поступающие самотеком в средства массовой информации и в государственные органы, также можно рассматривать в рамках теории экспертных оценок. Однако распределение самовыдвинувшихся экспертов по социальноэкономическим группам (например, по полу и возрасту) обычно существенно отличается от того, которое имеется в обществе.

Частично от этого смещения можно избавиться с помощью методов стандартизации («ремонта») выборки, разработанных в эконометрике и прикладной статистике [1, 4].

В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения на классификацию методов экспертных оценок может принести лишь вред.

Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций даем ниже, перечисляя основания, по которым делим методы экспертных оценок.

Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы ЭК, и он служит первым основанием для разбиения методов.

Цель – сбор информации для ЛПР. Тогда РГ должна собрать возможно больше относящейся к делу информации, аргументов «за» и «против» определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу.

Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему – эксперту, а также и к первому, который имеет возможность дополнить свою аргументацию... Процедура заканчивается, когда иссякает поток новых соображений.

Эксперты в рассматриваемом методе только поставляют информацию, аргументы «за» и «против», но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового (среднестатистического), т.е. инакомыслящие (диссиденты). Именно от них следует ожидать наиболее оригинальных аргументов.

Цель – подготовка проекта решения для ЛПР. Основная экспертных оценок применяются обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности.

Эти догмы «кочуют» из одной публикации в другую, поэтому целесообразно их обсудить.

считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, предоставить им возможность для обоснования их точек зрения.

Вместо этого их мнением пренебрегают.

Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов (членов Ученого совета НИИ) при оценке результатов научно-исследовательских работ на две группы:

«теоретиков», явно предпочитающих НИР, в которых получены теоретические результаты, и «практиков», выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты. Поэтому при голосовании с целью выявления лучшей научно-исследовательской работы за год результат зависел не от рассматриваемых работ, а от численности представителей групп «теоретиков» и «практиков», присутствующих на заседании.

Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже «подсказанной» ЛПР).

Правильное решение было принято руководством НИИ после обнаружения отсутствия единомыслия среди членов Ученого совета:

вместо одной премии стали присуждать две – отдельно за теоретические работы и отдельно за прикладные.

Часто не учитывают еще одного чисто математикостатистического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера укажем на конкретные методы расчетов с помощью коэффициентов конкордации (т.е. - в переводе - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Согласно математикостатистической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок.

Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по дурной традиции толкуется как согласованность ответов экспертов. Мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок.

(Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового математико-статистического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах [1, 4] и входящих в современный раздел эконометрики - статистику нечисловых данных). Невозможность получения обоснованного заключения о согласованности мнений невозможностью проверки нормальности теоретического распределения в случае, когда объем выборки менее 50 (это утверждение подробно обосновано в статье [5]).

Группы экспертов с близкими мнениями можно выделить методами кластер-анализа [4].

согласованности стараются уменьшить влияние мнений экспертовдиссидентов, т.е. инакомыслящих по сравнению с большинством.

Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели (см., например, учебник [4]).

Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану.

Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) оценки и аргументы диссидентов. Другой пример - принятие решений при судействе в фигурном катании, когда с целью повышения устойчивости выводов жюри отбрасываются минимальная и максимальная из оценок судей.

В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эту ответственность и труд на плечи ЛПР.

Догма одномерности. В устаревшей, а иногда и в современной научно-технической, управленческой и экономической литературе распространен довольно спорный подход «квалиметрии», согласно которому объект экспертизы всегда можно оценить одним числом.

Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее «рыночной стоимости». Практически все реальные объекты достаточно сложны, а потому сколько-нибудь точно описать их можно лишь с помощью многих и многих чисел, а также математических объектов нечисловой природы. Жизнь, в том числе экономическая, многомерна, а не одномерна!

Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня, конкурентоспособности и аналогичных. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям и группам показателей:

расход бензина на 100 км пути (в среднем);

надежность (в том числе число отказов и средняя стоимость ремонта за год);

безопасность эксплуатации;

экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;

легкость в управлении;

маневренность (в том числе радиус поворота);

быстрота набора заданной скорости (например, 100 км/ч) после начала движения;

максимальная достигаемая скорость;

длительность сохранения в салоне положительной температуры при низкой наружной температуре (например, минус пятьдесят градусов по Цельсию) и выключенном двигателе;

эстетичность (дизайн, привлекательность и «модность»

внешнего вида автомобиля и отделки салона);

Можно ли свести оценки по этим показателям вместе? Ясно, что определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность государственного управления, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для центральных районов - нет. И т.д.

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда «игры»

по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному многокритериальной оптимизации - множества Парето и т.д.

В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов.

Тогда можно подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). В подобных случаях не следует оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они качественно выполнить не в состоянии указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.

Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

2.4. Основания для классификации экспертных методов предыдущий раздел. Экспертные методы делятся на два класса в соответствии с ответом на вопрос: «Что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения?»

Рассмотрим еще четыре основания.

Число туров. Второе основание классификации экспертных процедур - число туров. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три, …) или неопределенное число туров.

Экспертиза в один тур предполагает, что эксперты не обмениваются информацией, поскольку не общаются друг с другом.

Технология такой экспертизы напоминает технологии маркетинговых и социологических выборочных обследований. Это наиболее быстрая и дешевая технология, но и в наименьшей степени использующая творческие способности экспертов, а потому дающая наименьшие полезные результаты.

Наличие нескольких туров предполагает, что эксперты получают информацию друг от друга, обрабатывают ее, получают новое знание и в соответствии с ним корректируют свои выводы. Чем больше туров, тем более тщательным является анализ ситуации.

Эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость.

неопределенным заранее числом туров, например, «снежный ком».

Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.

Порядок вовлечения экспертов. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно. Например, если цель состоит в сборе аргументов «за» и «против», то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур.

Итак, экспертные процедуры можно классифицировать на основании того, как эксперты вовлекаются в работу – одновременно или последовательно. Первый вариант – более быстрый, но и более затратный (дорогой), второй – дешевле, но дольше.

Организация общения экспертов. Четвертое основание классификации экспертных процедур - способ организации общения экспертов. Рассмотрим достоинства и недостатки каждого из элементов шкалы: отсутствие общения - заочное анонимное общение заочное общение без анонимности - очное общение с ограничениями очное общение без ограничений.

При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует однотуровой экспертизе.

Заочное анонимное общение, например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение.

Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура.

Заочное общение без анонимности соответствует, например, общению по Интернету. Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное время и место. В будущем с распространением телеконференций грань между очным и заочным общением экспертов начнет стираться.

Заочное общение без анонимности соответствует также многим реальным процедурам принятия управленческих решений.

Координация действий организаций и менеджеров с помощью этого типа общения происходит и при подготовке документов - планов, приказов, предложений, направляемых в другие организации, ответов на распоряжения и запросы властей и др. Управленческие решения обычно оформляются в виде подобных документов.

Обычно один из сотрудников - назовем его Исполнителем готовит первоначальный вариант документа, который размножается и рассылается на отзыв заинтересованным в нем менеджерам, а иногда и в другие организации. Исполнитель составляет сводку отзывов, с одними из замечаний соглашается, против других высказывает возражения. Затем собирают т.н. «согласительное совещание», на которое приглашают всех тех, с чьим мнением Исполнитель не согласен. В результате дискуссии по ряду позиций достигается компромисс, и возражения снимаются. Окончательное решение по проекту документа с учетом оставшихся возражений принимает ЛПР, например, генеральный директор или Совет директоров, т.е. высшая инстанция в данной организации. Именно такова процедура подготовки Законов РФ, государственных стандартов и иных ответственных документов.

Во многих случаях эта процедура упрощается и отзывы заменяются визированием, при котором свое согласие менеджеры выражают, накладывая на документ визу, т.е. расписываясь (иногда добавляя несколько слов по затрагиваемой проблеме). Например, подготовленное для отправки в другую организацию письмо или приказ по организации визируют руководители нескольких отделов, и генеральный директор его подписывает от имени фирмы, не вникая в суть (поскольку каждый день он подписывает десятки писем и приказов, то вникать некогда). Адресату уходит письмо, на обратной стороне которого указаны фамилия и телефон Исполнителя (поскольку адресат тоже хорошо знаком с процедурой подготовки документов, он понимает, что по конкретным вопросам надо обращаться к Исполнителю, а не к генеральному директору). В архиве фирмы остается письмо с визами, так что в случае необходимости легко выяснить, кто составил и одобрил документ.

Как ясно из сказанного выше, заочные экспертизы часто используются совместно с очными.

При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же потраченное время сообщить существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в фиксированном порядке от младшего (по чину и должности) к старшему. Другой пример - разработка и принятие решений в Государственной Думе Российской Федерации в соответствии с продолжительность выступлений на заседаниях комиссий, комитетов, других структур, на пленарных заседаниях. Вспомним также технологию «мозгового штурма».

Наконец, очная экспертиза без ограничений - это свободная дискуссия.

возможностями отрицательного влияния на их проведение социальнопсихологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут беседовать, а лейтенанты помалкивать. При этом вполне очевидно, что лейтенанты получили образование позже генералов, а потому обладают полезной информацией, которой нет у генералов.

Веса экспертов. Пятое основание классификации экспертных процедур - по способам введения весов для мнений экспертов.

Простейший способ - все эксперты равноправны, при голосованиях по отдельным положениям разрабатываемого решения имеют по одному голосу.

Часто вводят понятия решающего голоса и совещательного голоса. Например, при защите дипломного проекта члены Государственной Аттестационной Комиссии (ГАК) имеют решающие голоса, а все остальные участники заседания - совещательные. В Федеральном законе «Об экологической экспертизе» (1995) подробно расписано, представители каких организаций и структур управления могут присутствовать на заседании экспертной комиссии государственной экологической экспертизы с правом совещательного голоса.

В регламент принятия решений иногда включают положение, согласно которому при делении голосов ровно пополам принимается мнение той половины, к которой относится председатель ЭК. Это означает, что вес голоса председателя на бесконечно малую величину больше веса рядового эксперта. Впрочем, иногда председателю дают два голоса.

При голосованиях на собраниях акционеров вес каждого эксперта (участника заседания) определяется числом акций, которыми он распоряжается.