«Архитектуры и строительства Институт Экспертиза и управление недвижимостью Кафедра Экспертные технологии в управлении Образовательная программа дисциплины Направление подготовки: 080200 Менеджмент Магистерская ...»

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ

ФГБОУ ВПО

ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Архитектуры и строительства

Институт

Экспертиза и управление недвижимостью

Кафедра

Экспертные технологии в управлении

Образовательная программа дисциплины

Направление подготовки: 080200 «Менеджмент»

Магистерская программа: Современное ценообразование и сметное дело в строительстве Квалификация (степень) магистр Форма обучения очная Составитель программы Журавлев Евгений Геннадьевич, к.т.н., доцент кафедры Экспертизы и управления недвижимостью, ИрГТУ Иркутск 2011 г.

1. Информация из ФГОС, относящаяся к дисциплине 1.1. Вид деятельности выпускника Дисциплина охватывает круг вопросов относящиеся к виду деятельности выпускника: аналитическая.

1.2. Задачи профессиональной деятельности выпускника В дисциплине рассматриваются указанные в ФГОС задачи профессиональной деятельности выпускника:

- анализ существующих форм организации управления; разработка и обоснование предложений по их совершенствованию;

- организационно-управленческая деятельность:

- разработка стратегий развития и функционирования предприятий, организаций и их отдельных подразделений;

- научно-исследовательская деятельность.

1.3 Перечень компетенций, установленных ФГОС Освоение программы настоящей дисциплины позволит сформировать у обучающегося следующие компетенции:

Общекультурные компетенции способностью самостоятельно осуществлять подготовку заданий и разрабатывать проектные решения с учетом фактора неопределенности, разрабатывать соответствующие методические и нормативные документы, а также предложения и мероприятия по реализации разработанных проектов и программ (ПК-5) владением методами экономического анализа поведения экономических агентов и рынков в глобальной среде (ПК-6) способностью готовить аналитические материалы для управления бизнеспроцессами и оценки их эффективности (ПК-8) 1.4 Перечень умений и знаний, установленных ФГОС Студент после освоения программы настоящей дисциплины должен:

Знать теоретические положения следующих разделов:

– методы и приемы получения и обработки экспертной информации;

– технологии построения и проведения коллективной экспертизы;

– методы и алгоритмы получения групповой оценки.

уметь:

– организовывать процедуру сбора и получения экспертной информации;

– осуществлять построение экспертных показателей;

– использовать математические модели для оценки качества групп экспертов.

владеть:

– понятийным аппаратом в области экспертного оценивания;

– техникой организации проведения коллективной экспертизы.

Цели и задачи освоения программы дисциплины 2.

Цель дисциплины - сформировать комплекс теоретических знаний и практических навыков, необходимых для разработки и принятия управленческих решений и методов эффективного управления организацией в условиях рыночной экономики; изучить методы получения, анализа и обработки экспертной информации, автоматизированных систем, поддерживающих процесс принятия решений.

Основные задачи курса: изучение содержания управленческой деятельности и основных концепций управления, изучение всех компонентов управленческой деятельности.

Место дисциплины в структуре ООП 3.

Для изучения дисциплины, необходимо освоения содержания дисциплин:

методы исследований в менеджменте, современный стратегический анализ.

Знания и умения, приобретаемые студентами после освоения содержания дисциплины, будут использоваться при работе в экономических и аналитических службах организаций строительной отрасли.

Компетенции обучающегося, формируемые освоения дисциплины 4.

(результаты освоения дисциплины) Дополнительные компетенции не предусмотрены 5. Основная структура дисциплины.

Вид учебной работы Трудоемкость, часов Всего Семестр № Общая трудоемкость дисциплины 108 Аудиторные занятия, в том числе: 39 лекции 13 практические/семинарские занятия 26 Самостоятельная работа 69 Вид промежуточной аттестации зачет зачет (итогового контроля по дисциплине) 6. Содержание дисциплины 6.1.Перечень основных разделов и тем дисциплины Введение.

ЭКСПЕРТНОЕ ОЦЕНИВАНИЕ ПРИ ПРИНЯТИИ РЕШЕНИЙ

Тема 1.Экспертные технологии и управление Тема 2.Экспертные оценки и принятие решений Тема 3.Основные проблемы экспертного оценивания Тема 4. Управленческие индексы и классификация управленцев

ПОЛУЧЕНИЕ, ОБРАБОТКА И ИСПОЛЬЗОВАНИЕ ЭКСПЕРТНОЙ

ИНФОРМАЦИИ

Тема 5. Организация и проведение экспертиз Тема 6. Оценка качества эксперта Тема 7. Методы получения количественных и качественных экспертных оценок Тема 8. Основные принципы теории измерений Тема 9. Многокритериальные оценки Тема 10. Оценочные системы Тема 11. Коллективные экспертизы Тема 12. Методы определения результирующей экспертной оценки Тема 13. Анализ результатов экспертизы 6.2.Краткое описание содержания теоретической части разделов и тем дисциплины Раздел 1. ЭКСПЕРТНОЕ ОЦЕНИВАНИЕ ПРИ ПРИНЯТИИ РЕШЕНИЙ Тема 1.Экспертные технологии и управление приводится структура взаимодействия "УПРАВЛЕНЧЕСКАЯ СИТУАЦИЯ ЛПР" и определяется место, занимаемое в процессе управления экспертными технологиями. Обсуждаются основные проблемы, для решения которых необходимы экспертные технологии. К их числу относятся, в частности, определение целей, стоящих перед объектом управления, прогнозирование, разработка сценариев, генерирование альтернативных вариантов решений, разработка оценочных систем и систем рейтингов, принятие коллективных решений.

Экспертные технологии являются, по существу, основными технологиями, реально используемыми в процессе управления. Действительно, ведь управление – это процесс организации деятельности объекта управления субъектом управления для достижения поставленных целей.

Во-первых, ЛПР, являющийся субъектом управления, сам, как правило, является профессиональным управленцем. А это означает, что он является экспертом в области управления, особенно в той конкретной области, с которой его профессиональная деятельность связана.

Во-вторых, при принятии важных управленческих решений необходимым является использование высококвалифицированных специалистов – экспертов, обладающих необходимыми опытом и знаниями в той предметной области, в которой управленческое решение должно быть принято.

Скажем, если руководителю предприятия необходимо принять решение о закупке новой технологической линии, он должен знать мнение специалистов по эксплуатации оборудования такого типа, мнение специалистов, занимающихся реализацией продукции, которую технологическая линия производит, наконец, мнение финансовой службы предприятия.

Если главе администрации необходимо принять решение о перспективном развитии региона, то он должен организовать разработку целевых программ социального и экономического развития. Такие программы должны разрабатываться специалистами.

Если политический деятель принимает решение о выдвижении своей кандидатуры на предстоящих выборах, то он должен иметь представление о реальных шансах на успех. Такое представление он может получить, поработав с ПИАР-технологами.

Отсутствие в приведенных выше примерах достаточной информации, которую с полным основанием можно назвать экспертной, нередко приводит к принятию ошибочных или недостаточно эффективных управленческих решений.

Как правильно организовать работу экспертов, как обеспечить надежные экспертные оценки, как получить экспертную информацию, позволяющую принять эффективное управленческое решение?

Ответ на эти вопросы дают экспертные технологии. Экспертные технологии – технологии получения, обработки и анализа экспертной информации.

Тема 2. Экспертные оценки и принятие решений Рассматриваются основные проблемы экспертного оценивания, решение которых необходимо для корректного использования экспертных технологий. Это такие проблемы, как формирование экспертных комиссий, организация и проведение экспертиз, корректное получение экспертной информации, определение результата работы экспертных комиссий, многокритериальные оценки, анализ результатов экспертизы, компьютерные системы поддержки организации и проведения экспертиз.

Одна из основных особенностей нашего времени – интенсивное развитие науки об управлении, попытка изучить процесс принятия решений и разработать технологии, способствующие повышению эффективности принимаемых решений.

А поскольку от принятого решения может зависеть подчас успешное функционирование отдельного предприятия и отрасли в целом, успешная реализация крупномасштабных проектов и т.д., то очевидна важность умения принимать верные управленческие решения, действительно ведущие к достижению поставленных целей.

Процесс принятия решений при кажущейся простоте – очень непрост. В нем достаточно много тонкостей и подводных рифов. Основное назначение экспертных технологий - повышение профессионализма, а, следовательно, эффективности принимаемых управленческих решений.

Полное освещение проблем, связанных с принятием управленческих решений, читатель может найти в специальной литературе. Здесь мы обсудим лишь проблемы принятия решений с точки зрения использования экспертных технологий.

Подготовка решений осуществляется на основании всей совокупности информации о ситуации, ее тщательного анализа и оценок.

Ниже приведена укрупненная блок-схема взаимодействия «УПРАВЛЕНЧЕСКАЯ СИТУАЦИЯ – ЛПР» в аспекте использования экспертных технологий.

Возможности экспертного оценивания позволяют сделать объектом изучения основные аспекты взаимодействия «УПРАВЛЕНЧЕСКАЯ СИТУАЦИЯ – ЛПР» за счет возможности использования качественных и количественных оценок как формализуемых, так и неформализуемых составляющих ситуации, в которой ЛПР принимает управленческие решения, активно воздействуя на ее развитие.

Как справедливо считают некоторые авторы, положение организации в будущем определяют, прежде всего, личные оценки и суждения лиц, ответственных за принятие основных управленческих решений.

Большое значение имеет определение целей. Только после того, как цели определены, можно устанавливать факторы, механизмы, закономерности, влияющие на развитие ситуации, ресурсы, необходимые для достижения поставленных целей (Рис. 1).

ВЗАИМОДЕЙСТВИЯ «УПРАВЛЕНЧЕСКАЯ СИТУАЦИЯ – ЛПР»

Ситуация Определе- Анализ Предварите- Определение оспринятия ние целей ситуации льная диаг- новных факторов, Разработка Разработка Генерирование Отбор Разработка оценочной прогноза альтернативных основных сценариев Экспертная Определение Принятие Разработка результатов льного варивариантов анта решения воздействия экспертами реализации результатов выводы и программы развития си- рекомендации действий туации Рис. 1. Взаимодействие «управленческая ситуация – ЛПР»

Экспертные технологии при принятии решений используются как для непосредственного решения проблем организации и проведения экспертиз, так и для обеспечения процедур принятия решений, которые мы обсудим ниже.

1. Определение целей При принятии важных решений, последствия реализации которых могут сыграть значительную роль, необходимо четко представлять цели, к достижению которых стремится ЛПР. Для сложных управленческих ситуаций разработаны и используются методы формирования деревьев целей, позволяющие определить иерархическую структуру системы целей, и деревьев критериев, позволяющих оценить степень достижения целей (см., например, разделы 2.1, 2.5).

Большое значение имеет определение приоритетности целей и механизмов их достижения. Это одна из основных технологий, используемых в реальной управленческой практике.

Разработаны методы построения результирующих деревьев целей и деревьев критериев, получаемых в результате коллективной экспертизы для тех случаев, когда точки зрения экспертов могут различаться.

2. Экспертный прогноз Особую роль при принятии решений играют проблемы, связанные с оценкой ожидаемого развития анализируемых ситуаций, ожидаемых результатов реализации рассматриваемых альтернативных вариантов решений.

Поскольку при использовании экспертной информации большое значение имеют не только количественные, но и качественные оценки, традиционные методы прогнозирования далеко не всегда могут быть применены. К тому же во многих сложных ситуациях далеко не всегда мы обладаем достаточно достоверной статистической или иной информацией, необходимой для разработки прогноза.

Перечисленные выше причины делают актуальной проблему применения методов экспертного прогнозирования в большей степени ориентирующихся на работу, как с количественными, так и с качественными экспертными оценками.

Перспективными представляются возможности использования развивающегося метода экспертных кривых, с помощью которых может быть описана динамика прогнозируемого развития объекта экспертизы.

3. Сценарии ожидаемого развития ситуации Сценарии ожидаемого развития ситуации играют важную роль при принятии управленческих решений. Разработка сценариев развития ситуации при принятии управленческих решений производится преимущественно с использованием технологий экспертного оценивания.

Одной из основных задач при разработке сценария, а также при использовании методов ситуационного анализа, является определение факторов, характеризующих ситуацию и тенденции ее развития, а также определение альтернативных вариантов динамики их изменения. Наиболее распространенным методом экспертного оценивания при формировании альтернативных вариантов сценариев является метод мозговой атаки в сочетании со специальными методами использования аналитической информации ( раздел 2.1).

4. Генерирование альтернативных вариантов Генерирование альтернативных вариантов решений, управляющих воздействий и т.д. может осуществляться либо непосредственно, либо с помощью специальных экспертных процедур. Процедуры генерирования альтернативных вариантов могут предусматривать как специальную организацию и проведение экспертиз с использованием методов типа мозговой атаки, методов Цвикки и т.д., так и создание автоматизированных систем генерирования альтернативных вариантов в сложных, но достаточно структурируемых случаях.

5. Определение рейтингов В последнее время большую популярность приобрели расчеты рейтингов.

Рейтинги позволяют определить сравнительную надежность банков, страховых компаний, качество различного вида услуг, сравнительную влиятельность политиков, сравнительную силу спортсменов, популярность певцов и т.д.

Поскольку, как правило, используемые для расчета рейтингов методы относятся к той или иной категории методов многокритериального оценивания, здесь можно говорить лишь об их специфических особенностях, характерных для расчета рейтингов.

6. Оценочные системы Оценочная система формируется при проведении индивидуальных и коллективных сравнительных оценок объектов экспертизы, для оценки степени достижения цели, для сравнительной оценки предпочтительности альтернативных вариантов управляющих воздействий и их результата и т.д.

В состав оценочной системы входят:

- критерии, характеризующие объект оценки;

- шкалы, с использованием которых производится оценка по каждому из критериев;

- принципы выбора (решающие правила), по которым на основании оценок значений критериев для объекта определяется общая оценка либо производится сравнительная оценка предпочтительности альтернативных вариантов.

Большое внимание в оценочных системах уделяется оценке сравнительной важности критериев. При расчете рейтингов также используется, как правило, одна из специально разработанных оценочных систем.

7. Принятие коллективных решений Принятие коллективных решений - одна из наиболее важных процедур процесса управления. В отличие от процедуры определения результирующих экспертных оценок она предполагает не только расчет результата коллективной экспертизы, но и использование специальных методов открытого обсуждения альтернативных вариантов решений. В ряде случаев полезен дополнительный обмен информацией между лицами, принимающими непосредственное участие в процессе принятия решений, согласование противоположных точек зрения, поиск компромисса и т.д. (см., например, раздел 2.8).

Еще одним важным отличием обсуждаемых процедур является то, что решения, принимаемые коллективно окончательны, в то время как результирующие экспертные оценки служат лишь необходимой базой для принятия управленческих решений.

В процессе принятия коллективного решения может быть запрошена дополнительная экспертная информация от специалистов, принимавших участие в подготовке и обосновании альтернативных вариантов решений.

Тема 3.Основные проблемы экспертного оценивания Приводится пример определения рейтинга 100 ведущих политиков страны, публиковавшийся "Независимой газетой", - характерный пример использования экспертной информации для принятия решений в области политической деятельности. Анализируются преимущества и недостатки применявшихся экспертных технологий.

Экспертные оценки при принятии решений в той или иной форме использовались во все времена. Делфийский оракул в Древней Греции вещал внушаемые свыше пророчества, а совет старейшин их интерпретировал, стремясь верно определить подсказанное богами решение.

Организация и проведение экспертиз, реализованных в той или иной форме, отражающей особенности эпохи, народа, традиций и обычаев, должны были обеспечить оценку возникавших управленческих ситуаций и принятие эффективных управленческих решений.

По мере совершенствования и усложнения процесса принятия решений, по мере того, как в мире все большее внимание уделялось технологиям, возрастало внимание к экспертным оценкам, к технологиям экспертного оценивания.

Мы считаем началом становления экспертных оценок, как самостоятельного раздела науки об управлении – момент создания первых официально описанных и исследованных технологий экспертного оценивания. В частности, появление первых работ, посвященных групповому выбору, определению результата коллективных экспертиз, методам Делфи, мозговой атаки, сценариев и др., описанию опыта их использования. Это 50-е, 60-е годы ХХ века. Хотя было и немало работ, предшествовавших началу широкого использования экспертных оценок.

К их числу можно отнести и рассуждения Галилео Галилея о точности оценок экспертов, и работы Кондорсе, впервые обратившего внимание на то, что принцип большинства далеко не всегда позволяет определить наилучшую альтернативу, и работы Фехнера, посвященные психологическим измерениям, и работы Бернулли по субъективной вероятности, и работы Эйлера, связанные с функциями полезности. Этот список, естественно, далеко не полон.

В бывшем СССР началом создания и использования методов экспертного оценивания можно считать появление в конце 60-х годов работ В.М.Глушкова, Г.М.Доброва, Ю.В.Ершова, Р.М. Хвастунова и др. Однако возможности практического применения экспертных оценок в тот момент были несколько преувеличены, что показали специально проведенные эксперименты.

Однако следствием этого естественного заблуждения явился и вполне определенный положительный результат - была осознана необходимость более тщательного изучения возможностей экспертного оценивания, развития математических методов обработки и анализа экспертной информации, целесообразность практического использования методов экспертного оценивания.

Экспертные оценки - это суждения высококвалифицированных специалистов-профессионалов, высказанные в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования при принятии решений.

Экспертизы бывают индивидуальные и коллективные, однотуровые и многотуровые, с обменом информацией между экспертами и без, анонимные и открытые. Многообразие областей применения делает достаточно многообразным и гибким используемый на практике аппарат экспертного оценивания.

Однако опыт показывает, что при реальном использовании экспертных оценок далеко не всегда можно уложиться в одну из широко известных и применяемых схем.

Возникающие на практике задачи нередко оказываются сложнее традиционных подходов. Настоящая же цель применения технологий экспертного оценивания - принятие эффективного решения, а не обязательное использование традиционных схем. Поэтому специалистам - технологам, проводящим экспертизы, важно творчески подходить к их организации и проведению для того, чтобы решать основную задачу - обеспечить адекватную оценку объекта экспертизы, выработать реализуемые и приводящие к цели альтернативные варианты решений, а среди них выбрать самый эффективный и надежный.

Однако творческий подход предполагает профессиональное знание специалистом принципов организации и проведения экспертиз, методов получения, анализа и обработки экспертной информации, анализа результатов экспертизы. Отсутствие профессионального владения технологиями экспертного оценивания чревато грубыми ошибками и получением неадекватных оценок, а, в конечном итоге, принятием нереализуемых и неэффективных решений. Примеры типичных ошибок при организации и проведении экспертиз будут приведены далее.

Основная цель организации и проведения экспертиз – повысить профессиональный уровень принимаемых решений за счет использования специально разработанных и проверенных на практике технологий экспертного оценивания.

Экспертные оценки являются информацией для ЛПР, необходимой при принятии взвешенных обоснованных решений, преимущественно, в сложных, нестандартных ситуациях принятия решений, а также при принятии важных управленческих решений.

Это в полной мере относится к процессу управления в самых различных сферах практической деятельности.

Но вернемся непосредственно к экспертным оценкам. Для того, чтобы получаемая экспертная информация была качественной, необходимо выполнение следующих условий:

- наличие экспертной комиссии, состоящей из специалистов, профессионально знакомых с объектом экспертизы, и имеющих опыт экспертной работы;

- наличие аналитической группы, профессионально владеющей технологией организации и проведения экспертиз, методами получения и анализа экспертной информации;

- получение достоверной экспертной информации;

- корректная обработка и анализ экспертной информации.

Отсутствие любого из перечисленных условий ставит под сомнение эффективность и корректность проводимой экспертизы.

Укажем основные, с нашей точки зрения, проблемы совершенствования и развития экспертных технологий.

1. Формирование экспертной комиссии Одной из центральных проблем при формировании экспертной комиссии является определение качества эксперта. При формировании экспертной комиссии необходимо предусмотреть возможность эффективного взаимодействия экспертов, входящих в её состав, с целью получения полной и адекватной оценки объекта экспертизы.

Следует обратить внимание на реализованную в автоматизированных системах экспертного оценивания задачу автоматизированного подбора экспертов для оценки объекта экспертизы с учетом их профессиональных знаний и опыта. При этом может решаться и обратная задача подбора для эксперта объектов, с которыми он профессионально наиболее знаком.

2. Организация и проведение экспертиз Не менее важной проблемой является проблема организации и проведения экспертиз. Ей посвящен ряд работ специалистов в области технологий экспертного оценивания. Это, прежде всего, работы по систематизации многочисленных разновидностей метода Делфи, касающиеся, в основном, совершенствования процедур обмена информацией между экспертами в процессе экспертизы. Дальнейшее развитие получили метод мозговой атаки, сценариев, ситуационного анализа.

Для экспертизы сложных объектов, в частности, для экспертизы и прогнозирования научно-технических объектов, развивались и совершенствовались такие методы как ПАТТЕРН, методы Глушкова и Поспелова, различные разновидности использования метода деревьев целей и критериев и др. Разрабатывались механизмы выявления экспертных знаний и оценок.

В настоящее время все большее значение приобретает проведение комплексных экспертиз при оценке сложных объектов.

3. Получение экспертной информации Широкое распространение получили методы экспертных ранжирований и гиперупорядочений, классификаций, парные и множественные сравнения, методы Терстоуна и Черчмена-Акофа, метод векторов предпочтений и др.

Ю.В.Сидельниковым разработана классификация экспертных оценок, насчитывающая свыше 70 их видов. Естественно, что различные виды экспертной информации требуют как различных методов ее получения, так и различных методов обработки.

При практическом использовании значительное внимание уделяется как качественным, так и количественным методам получения экспертной информации.

Широко используется и развивается язык бинарных отношений для единообразного представления количественной и качественной экспертной информации.

Разрабатываются методы измерения экспертной информации. К числу основных проблем относятся:

- проблема представимости экспертной информации, - проблема единственности измерений, - проблема адекватности.

Последняя особенно важна для определения корректных преобразований экспертной информации при расчетах результирующих экспертных оценок результата работы экспертных комиссий.

Проблема единственности измерений экспертной информации тесно связана с введением основных шкал теории измерений: шкал интервалов, разностей, отношений, порядковых шкал и т.д.

4. Определение результирующих экспертных оценок Одной из центральных проблем обработки экспертной информации является также определение результирующих экспертных оценок - результата коллективной работы экспертов. Для этой цели был введен аналог расстояния мера близости между ранжированиями, классификациями и т.д.

Это позволило разработать корректные способы определения результирующих экспертных оценок такие, как медиана Кемени, метод строчных сумм и др.

Разработаны методы, определяющие целесообразность использования тех или иных видов результирующих в зависимости от характера экспертной информации.

Установлена связь между методами определения результирующих экспертных оценок и принципами коллективного выбора, сформулированными Эрроу, удостоенного за работы в области социального выбора нобелевской премии.

Получили дальнейшее развитие методы группового выбора.

5. Многокритериальные оценки Многолетний опыт использования методов и процедур экспертного оценивания показал, что во многих случаях, хотя и не во всех, оценки объектов экспертизы экспертами оказывались более точными при использовании методов многокритериального оценивания.

Развитие получили методы определения факторов, характеризующих объекты экспертизы. В частности, многомерное шкалирование, факторный анализ, статистические методы определения существенных факторов. Развивались методы оценки их сравнительной весомости, принципы принятия решений на основе оценок объектов по многим критериям, далеко не всегда сводящиеся к «сверткам». Проведена систематизация и классификация принципов выбора и анализ результатов их использования при принятии решений.

Применяются композиционные принципы выбора. Решаются задачи многокритериальной оптимизации, существенно использующие экспертную информацию.

6. Анализ результатов экспертизы Полученная экспертная информация обязательно должна быть проанализирована. Получили развитие методы оценки согласованности экспертных суждений, высказанных в виде ранжирований, парных сравнений и т.д. При этом установлена связь между коэффициентами ранговой корреляции, характеризующими согласованность экспертных суждений, и упомянутыми ранее мерами близости.

На основании оценки степени согласованности экспертных суждений определяются коалиции экспертов - "единомышленников".

Разработаны методы оценки непротиворечивости экспертных суждений.

Особенно такой анализ актуален при использовании метода парных сравнений.

Развиваются методы оценки точности экспертных суждений. При этом большое развитие получили методы оценки сравнительной точности экспертных суждений при использовании различных критериев оценки точности.

Скорее поставлены, чем решены проблемы оценки степени конъюнктурности, конформизма и других факторов, характеризующих адекватность экспертной информации.

7. Компьютерные системы экспертного оценивания Характерным для современного этапа использования методов экспертного оценивания является широкое применение компьютерных систем поддержки.

К числу таких систем могут быть отнесены экспертные системы, позволяющие использовать знания и опыт экспертов - специалистов высокой квалификации специалистами менее высокой квалификации для решения задач, возникающих в их практической деятельности.

Системы поддержки принятия решений, находящие применение в различных областях, в качестве одной из основных составляющих используют результаты экспертного оценивания.

Однако наиболее важным классом компьютерных систем, позволяющих обеспечить сопровождение и поддержку непосредственно процедур получения, обработки и анализа экспертной информации являются автоматизированные системы экспертного оценивания.

Они обеспечивают технологическое сопровождение, необходимое методическое и информационное обеспечение процесса экспертного оценивания при организации и проведении экспертиз с учетом специфического характера проводимой экспертизы.

Широкое распространение получили в настоящее время интегрированные системы управления, в которых реализовано информационное обеспечение основных бизнес-процессов на современном крупном предприятии, корпорации, банке и т.д. Однако, сам процесс подготовки и принятия управленческих решений в интегрированных системах управления представлен недостаточно.

Мы надеемся, что при дальнейшем их развитии значительные информационные ресурсы, обеспечивающие их работу, будут объединены с интеллектуальными возможностями рассмотренных нами выше автоматизированных технологий, обеспечивающих сопровождение и поддержку процесса принятия решений, и, прежде всего, технологий экспертного оценивания.

Тема 4. Управленческие индексы и классификация управленцев Приводятся примеры типичных ошибок, встречающихся в реальной практике проведения экспертиз. Типичные ошибки разбиты на три группы. К первой группе отнесены ошибки, совершаемые при организации и проведения экспертиз, ко второй - при обработке экспертной информации, к третьей - при использовании коллективных экспертных процедур.

Один из основных управленческих принципов гласит: управлять можно только тем, что измеримо. Раньше проблема измеримости при недостаточно развитой теории измерений делала недоступными для систематизированного анализа многие управленческие проблемы. Не существовало надежного инструментария для решения таких вопросов, как оценка эффективности деятельности управленца или системы управления организацией, определение уровня профессионализма работника, установление целесообразности проведения реорганизации, оценка качества и многих других.

Неправильным было бы утверждать, что до значительных продвижений ХХ века в развитии теории измерений, управление, как таковое, отсутствовало.

Оно существовало с тех пор, как началась коллективная деятельность человека, и появились первые организации.

Управленцы делали необходимые управленческие измерения, оценивая интуитивно и значимость совершенных дел, и профессионализм работников, и надежность членов своей команды (своих приближенных), проводили реформы и преобразования, осознав их необходимость.

Развитие возможностей теории измерений и, в первую очередь, теории экспертных измерений, сделало возможным проведение анализа управленческой деятельности, поставленного на профессиональную основу. Управленческая деятельность стала предметом научного анализа и исследований.

Современная наука об управлении начиналась с того, что американским инженером Фредериком Уинслоу Тейлором был найден способ «измерения»

производственной деятельности человека, которая была разбита на основные элементы. Затраты труда на реализацию основных элементов производственной деятельности, продолжительность процесса их реализации стало возможным измерить и оценить.

Это позволило ему сформулировать и внедрить в практику управления такие ставшие общепризнанными принципы, как:

-каждый элемент работы должен быть исследован, научно обоснован и оценен;

-установление расценок и заработная плата должны быть основаны на точном знании, а не на догадках;

-отбор работников должен производится с использованием научных критериев;

-заработная плата, основанная на точном знании, пробуждает интерес работников и предпринимателей к сотрудничеству;

-взаимодействие администрации и работников должно осуществляться на основе внедрения научно разработанной системы организации труда и т.д.

Впечатляющие результаты, полученные при внедрении разработанных Тейлором принципов научного управления, основанных на проводимых им измерениях, положили начало современной науке об управлении. Поэтому роль измерений в управленческой деятельности трудно приуменьшить.

За прошедшие почти сто лет с момента опубликования классической книги Тейлора «Принципы научного управления» и наука об управлении, и используемые ею технологии сделали значительный шаг вперед. И существенный вклад в развитие управленческих технологий внесло использование методов экспертного оценивания, и, прежде всего, методов экспертных измерений.

Сегодня мы умеем оценивать с помощью специально разработанных шкал и качество продукции и услуг, и профессиональный уровень работника, и рейтинги ценных бумаг, и фондовые индексы, и индекс рыночной концентрации Герфиндаля, и индекс Доу-Джонса, и множество других индексов и рейтингов, характеризующих соответствующие объекты управления.

Но, пожалуй, самым важным для управленческой практики является то, что мы можем сегодня оценивать, а, значит, измерять, не только объект, но и субъект управления. Т.е. мы обладаем уже возможностью оценивать профессиональную деятельность тех, кто осуществляет процесс управления. Сегодня рассчитываются рейтинги политических деятелей и бизнесменов, политических партий и крупнейших промышленных корпораций. Мы получили возможность оценивать, а, значит, измерять, эффективность, как управленческой деятельности отдельного управленца, так и системы управления в целом.

Кадровые службы получили возможность достаточно полно и адекватно оценивать профессиональную деятельность, практически, любого специалиста.

Это необходимо, поскольку профессиональная деятельность работника является объектом управления и одна из основных задач системы управления любой организацией сделать ее максимально эффективной.

Но как бы за кадром остается профессиональная деятельность самих управленцев. В то же время в современной организации удельный вес управленческого звена и его роль в решении задач, стоящих перед организацией, значительно выросли. Увеличился численный состав управленческого звена, а, значит, появилась необходимость оценивать эффективность деятельности, как отдельного управленца, так и системы управления в целом. При этом для организации эффективного функционирования системы управления необходимо оценивать и такие качества управленца, как его умение анализировать сложившуюся управленческую ситуацию, находить верное решение, реализовывать поставленные перед ним задачи.

Поскольку нередко современной организации приходится функционировать в условиях значительной нестабильности и изменчивости внешней среды, необходимо уметь оценивать такие качества, как динамизм управленца, его умение функционировать в непрерывно изменяющихся внешних условиях, умение увидеть новые возможности. Ведь столь необходимое в условиях острой конкурентной борьбы лидерство требует умения находить нетрадиционные пути развития, ставить принципиально новые цели и задачи и добиваться их решения.

В то же время управленцы высшего управленческого звена нередко входят в состав команды управленцев, членам которой делегированы значительные полномочия и доверено решение задач, от которых зависит будущее организации. Становится необходимым учитывать, а, значит, оценивать их личные качества, в т.ч. их надежность.

Существует мнение, что работа в организации поставлена хорошо, если 70% работников полностью справляется со своими служебными обязанностями.

Организация может обеспечивать решение стоящих перед ней задач, если хотя бы 50% полностью справляется со своими служебными обязанностями.

Но применим ли такой подход при оценке деятельности управленца? Если неэффективно работает руководитель предприятия или руководитель службы предприятия, его структурного подразделения, то может ли оно успешно решать стоящие перед ним задачи? Может ли быть обеспечено высокое качество производимой продукции, без которого завоевание или даже удержание рынков сбыта, попросту, невозможно.

В системе управления традиционные «надежностные» подходы не срабатывают. Продублировать или «запараллелить» деятельность управленца, практически, невозможно. К эффективности работы управленца предъявляются повышенные требования. Он не имеет права работать неэффективно, поскольку от успешности его деятельности зависит успешность деятельности многих работников предприятия и производственного процесса в целом.

Значит, задача управления управленцами в условиях современной организации приобретает особую значимость. А, как мы уже знаем, для того, чтобы управлять, надо уметь измерять основные показатели, характеризующие объект управления. Должна быть создана система критериев, индексов, рейтингов, позволяющая измерять, т.е. оценивать профессиональную деятельность управленца, которая существенно отличается от деятельности работника любого другого профиля.

Прежде, чем приступить к обсуждению элементов оценочной системы, предназначенной для оценки деятельности управленца или системы управления в целом, необходимо ввести классификацию в иерархии существующей в любой системе управления. Обычно выделяется высшее, среднее и низшее управленческое звено.

Мы рассмотрим иную классификацию управленческой деятельности, исходя из анализа другого ее «среза». С точки зрения решения любой управленческой проблемы, как правило, существует первое лицо, принимающее решения, которое обладает соответствующими полномочиями, а, значит, оно ответственно за результаты реализации принимаемых управленческих решений. И существуют вторые лица в системе управления – управленцы, которым первое лицо делегировало те или иные управленческие полномочия, реализующие принятые им решения.

Далее это соотношение «первое лицо – вторые лица» в управленческой иерархии может повторяться «вниз» по управленческой цепочке. Но при решении любой управленческой проблемы всегда существует распределение управленческих полномочий и ответственности между лицом, принимающим решения, и лицами, реализующими их.

Поэтому, формируя систему для оценки управленческой деятельности, мы будем различать критерии, индексы, рейтинги, предназначенные для оценки деятельности и первого лица, и вторых лиц в управленческой иерархии.

Прежде всего, профессиональная деятельность ЛПР – первого лица в организации оценивается по результатам реализации принятых им решений.

Управленческое решение считается эффективным в том случае, если его реализация обеспечила достижение поставленной цели. В противном случае оно не является эффективным. Нередки случаи, когда поставленная цель оказывается достигнутой лишь частично. В этом случае можно оценить степень достижения цели в результате реализации принятого решения, скажем, в виде процентного соотношения между достигнутым и планировавшимся.

Так называемый Индекс эффективности управленца ИЭ рассчитывается по следующей формуле:

Чу – число принятых решений, обеспечивших достижение цели;

Индекс эффективности управленца ИЭ достаточно адекватно характеризует успешность его профессиональной деятельности. Однако, если поставленные цели неравнозначны по значимости, его расчетную формулу целесообразно несколько видоизменить. В этом случае при оценке успешности профессиональной деятельности управленца необходимо учитывать сравнительную значимость поставленных целей, а, значит, и значимость решений, которые должны обеспечить их достижение. Тогда расчетная формула для оценки успешности профессиональной деятельности управленца принимает следующий вид:

Wi – весовой коэффициент, характеризующий значимость i – го управленческого решения;

Pi – i –ое принятое управленческое решение;

Pуi – i – ое принятое управленческое решение, обеспечившее достижение цели.

В тех случаях, когда мы обладаем информацией о сравнительной значимости поставленных целей и принимаемых решений, модифицированная формула расчета индекса ИЭ позволяет более адекватно оценивать успешность профессиональной деятельности управленца.

Если для достижения поставленной цели требуется принятие нескольких управленческих решений, то соответствующее незначительное усложнение расчетной формулы Индекса эффективности ИЭ позволит учесть и это обстоятельство.

Скорректировать расчетную формулу Индекса эффективности управленца можно и на тот случай, когда реализация решения позволяет лишь частично обеспечить достижение поставленной цели. Тогда формула для расчета Индекса эффективности управленца ИЭ примет следующий вид:

Zуi – степень успешности реализации принятого решения.

Другой важной характеристикой профессиональной деятельности ЛПР является индекс, характеризующий уровень власти, которой оно обладает. Это один из самых важных управленческих индексов, поскольку осуществлять управление можно лишь, обладая соответствующей властью. Индекс власти ИВ характеризуют следующие критерии:

К1 – критерий, характеризующий иерархический уровень управленцев, непосредственно ему подчиненных, в управленческой иерархии К2 – процент членов организации, выполняющих принятые ЛПР К3 – процент ресурсов организации, находящихся в распоряжении К4 – степень обязательности исполнения в организации принятых К5 – степень делегирования управленческих полномочий вторым лицам;

К6 – степень устойчивости влияния ЛПР на деятельность организации при изменении обстоятельств.

Значения критериев, характеризующих профессиональную деятельность управленца, как правило, определятся с использованием технологий экспертного оценивания. Для единообразия проведения расчетов будем считать критерии, характеризующие индекс, пронормированными, т.е. оцениваемыми в долях единицы. Так, скажем, если процент членов организации, выполняющих принятые ЛПР решения, равен 75%, то критерий К2 примет значение 0,75.

Если через Wi обозначить весовой коэффициент, характеризующий значимость критерия Кi, то формула для расчета Индекса власти примет следующий вид:

И, наконец, третий по порядку, но не по значимости индекс, характеризующий деятельность управленца, позволяет оценить его аналитический потенциал, способность находить и принимать эффективные решения в сложных управленческих ситуациях, уровень его интеллектуальных возможностей. Это Индекс управленческой мысли ИУМ. В формулу для расчета его значений входят такие критерии, как:

К1 – степень владения информацией о технологиях и системах управления;

К2 – степень обладания общим интеллектуальным потенциалом;

К3 – степень умения анализировать управленческие ситуации;

К4 – степень умения прогнозировать развитие управленческих ситуаций;

К5 – степень умения разрабатывать стратегию и тактику, К6 – степень умения находить верное управленческое решение в сложной управленческой ситуации;

К7 – степень умения находить нетрадиционное, ведущее к успеху решение;

К8 – степень владения технологиями реализации управленческих решений;

К9 – степень умения анализировать результаты реализации принятых Набор критериев и соответствующих им весовых коэффициентов, характеризующих Индекс управленческой мысли управленца, может изменяться в зависимости от рода его профессиональной деятельности. В него могут включаться и другие критерии, не представленные в нашем перечне, некоторые из критериев, представленных в нашем перечне, могут исключаться. Однако это обязательно должны быть критерии, определяющие интеллектуальные возможности управленца, с помощью которых осуществляется его профессиональная деятельность.

Корректировка набора критериев и соответствующих им весовых коэффициентов применительно к конкретной области деятельности является целесообразной для всех управленческих индексов, оцениваемых по многим критериям.

Формула, используемая для расчета ИУМ, имеет следующий вид:

Wi – весовой коэффициент, характеризующий значимость i – го n – число критериев, по которым рассчитывается ИУМ.

Формула «свертки» критериев, использованная при расчете индекса управленческой мысли, может быть использована и при расчете других индексов, характеризующих профессиональную деятельность управленца. Естественно, что при этом состав критериев и коэффициенты их сравнительной весомости будут другими. Определение их является задачей, которую, как уже говорилось, целесообразно решать с учетом специфики области профессиональной деятельности и решаемых управленческих проблем.

Поэтому в дальнейшем изложении мы будем указывать лишь набор критериев, используемых при расчете того или иного управленческого индекса.

Уточнение набора критериев, учитываемых при расчете значений индекса, и определение коэффициентов сравнительной весомости – одна из составляющих аналитической работы управленца.

При расчете конкретных значений управленческих индексов определяются значения критериев типа «степень умения находить верное управленческое решение в сложной управленческой ситуации» или " степень владения технологиями реализации управленческих решений", которые оцениваются экспертами в процентах, долях единицы или специально разработанных шкалах, например, в шкале Харрингтона, а затем, как уже говорилось, нормируются.

При оценке управленческой деятельности "вторых" лиц в организации используются другие оценочные характеристики, отражающие специфику их деятельности. Рассмотрим их.

Одним из основных индексов, характеризующих профессиональную деятельность управленца, не являющегося первым лицом, а относящегося к высшему, среднему или низшему управленческому звену, является его умение эффективно решать стоящие перед ним задачи.

Для того, чтобы измерить это его умение можно воспользоваться Индексом реализации ИР. В состав Индекса реализации входят такие критерии, как:

К1 – степень понимания цели, достижение которой необходимо обеспечить;

К2 – степень умения обеспечить выполнение основных управленческих функций (планирования, организации, мотивации, контроля) при решении поставленной задачи;

К3 – степень профессионального владения этапами основного управленческого цикла;

К4 – степень умения добиться реализации поставленной цели;

К5 – степень силового давления, оказываемого на подчиненных при реализации поставленной цели.

Управленец способен эффективно осуществлять управленческую деятельность, если обладает необходимыми для этого личными качествами, характеризуемыми Индексом личных качеств управленца ИЛК. В состав основных критериев, определяющих личные качества управленца, входят:

К1 – степень целеустремленности при решении поставленных задач;

К2 – степень обладания волевыми качествами, проявляемыми при решении поставленных задач;

К3 – степень независимости принимаемых решений от влияния окружающих;

К4 – степень умения оказывать влияние на окружающих (подчиненных) – быть лидером;

К5 – степень умения "держать удар".

Есть еще один индекс, являющийся очень важной характеристикой управленца, а, точнее, его взаимоотношений с управленцем, в непосредственном подчинении которого он находится - это Индекс надежности управленца ИН. Особенно он важен при оценке управленцев высшего управленческого звена. Индекс надежности управленца включает такие критерии, как:

К1 – степень совпадения интересов с управленцем, в подчинении которого он находится;

К2 – степень его удовлетворенности работой и взаимоотношениями с управленцем, в подчинении которого он находится;

К3 – степень влияния на него сдерживающих принципов (ограничителей);

К4 – степень значимости для него интересов команды (преданности организации и интересам команды);

К5 – степень стремления к удовлетворению собственных интересов.

Последний из перечисленных критериев относится к критериям обратного действия. Т. е., чем ниже его значение при оценке надежности управленца, тем выше значение его Индекса надежности.

В то же время следует отметить, что Индексы, характеризующие первое лицо в управленческой иерархии ЛПР, могут использоваться и при оценке лиц, реализующих решения. Естественно, при этом должны быть сделаны необходимые поправки, учитывающие положение управленца в управленческой иерархии организации.

Существуют также индексы, которые характеризуют, как первое лицо в управленческой иерархии, так и вторые лица, т.е. лица, реализующие решения.

К числу таких индексов может быть отнесен, например, Индекс динамизма (предприимчивости) управленца (ИД). Он характеризует умение управленца своевременно увидеть и реализовать новые возможности, открывающиеся перед организацией, ее структурным подразделением либо перед ним лично. Индекс динамизма включает такие критерии, как:

К1 – степень умения найти новый вариант развития, новые возможности;

К2 – степень умения создать потенциал развития, включая сырьевой, кадровый, финансовый и т.д., К3 – степень умения принимать решения в условиях, связанных с неопределенностью и риском;

К4 – степень умения реализовать принятый вариант развития;

К5 – степень умения максимально использовать результаты реализации управленческих решений по развитию объекта управления.

При расчете значений управленческих индексов может использоваться не только принцип «свертки», но и другие решающие правила (см. раздел 2.6). В частности, для расчета значений Индекса надежности управленца может быть использован принцип, согласно которому значение индекса определяется минимальным значением критерия, входящего в состав критериев, характеризующих его профессиональную деятельность.

В ряде случаев более целесообразной оказывается непосредственная экспертная оценка значения того или иного управленческого индекса в целом, а не последовательная оценка значений каждого из критериев, его характеризующих, с последующим применением решающего правила для расчета значения индекса. Когда многокритериальная оценка значения того или иного управленческого индекса затруднена либо слишком трудоемка, она также может быть заменена его оценкой в целом.

Входящие в состав того или иного управленческого индекса критерии можно конкретизировать применительно к тем проблемам, которые приходится управленцу решать. Так, например, если мы говорим о степени владения информацией о технологиях и системах управления, то можно уточнить, что при оценке значения этого критерия необходимо учитывать умение работать с информацией, включая ПИАР, проводить анализ, разрабатывать стратегию, создавать организационные структуры, работать с персоналом, формировать команду, реализовывать основные управленческие функции, генерировать и оценивать альтернативные варианты решений, осуществлять выбор наиболее предпочтительного варианта решения, рационально распределять ресурсы и т.д.

Введенные нами управленческие индексы позволяют не только оценивать успешность профессиональной деятельности управленца, но и осуществлять их классификацию по тому или иному основанию, в зависимости от целей проводимого анализа их управленческой деятельности.

Приведем пример нескольких классификаций первых лиц в управленческой иерархии, которые были отнесены нами к категории великих управленцев (7).

Эффективность их управленческой деятельности, обладание значительным интеллектуальным потенциалом, естественно, в рамках эпохи, к которой они принадлежали, обладание властью сомнений не вызывали. Поэтому для характеристики их управленческой деятельности и последующего проведения их классификации целесообразным оказался подбор обобщенных критериев, т.е.

критериев, составленных из нескольких критериев, характеризующих тот или иной управленческий индекс. Подобранные обобщенные критерии служили основанием для классификации великих управленцев, результаты управленческой деятельности которых стали объектом анализа.

При этом необходимо было учитывать, что характер их управленческой деятельности и ее стиль значительно различались. То, что они являлись крупнейшими управленцами на различных этапах человеческой цивилизации, принадлежали различным странам и эпохам, существенно сказалось на их классификации.

Так один из основных управленческих индексов – Индекс власти, характеризующих деятельность первого лица, позволил провести классификацию стиля управления великих управленцев по критериям, характеризующим иерархический уровень управленцев, непосредственно ему подчиненных, в управленческой иерархии организации и делегирование управленческих полномочий вторым лицам. При этом по обобщенному критерию, названному "иерархия управления", были выделены следующие классы:

-управление управленцами (Бисмарк, Талейран, королева Виктория, Дэн Сяопин);

-сочетание личного управления с существенным делегированием управленческих полномочий (Перикл, Август, Алексей Романов, Вашингтон Екатерина II, Наполеон, де Голль, Рузвельт, Лихачев, Королев, Ли Якокка);

-непосредственное личное управление (Соломон, Александр Македонский, Чингисхан, Петр I, Морган, Сталин).

Использование Индекса власти позволило также провести классификацию великих управленцев, деятельность которых мы анализировали, по оставшимся критериям, образовавшим обобщенный критерий "степень единовластия управления". Были выделены следующие классы:

-авторитарное управление (Соломон, Александр Македонский, Чингисхан, Петр I, Екатерина II, Наполеон, Бисмарк, Морган, Сталин, Королев);

-авторитарно-демократическое управление (Август, Алексей Романов, Вашингтон, Талейран, королева Виктория, Рузвельт, де Голль, Ли Якокка, Дэн Сяопин);

-демократическое управление (Перикл, Лихачев).

Индекс управленческой мысли и специфика существовавших систем управления позволили провести классификацию великих управленцев по обобщенному критерию "степень создания системы управления", во главе которой он стоял. На основании этого обобщенного критерия были выделены следующие классы:

-создание собственной системы управления (Александр Македонский, Чингисхан, Морган, Сталин, Ли Якокка);

-существенная корректировка существовавшей системы управления (Алексей Романов, Петр I, Вашингтон, де Голль, Королев, Дэн Сяопин);

-управление в рамках существовавшей системы управления (Соломон, Перикл, Август, Екатерина II, Талейран, королева Виктория, Рузвельт, Лихачев).

На основании Индекса реализации, а точнее характеризующего его критерия "степень силового давления, оказываемого на подчиненных при реализации поставленной цели" была проведено разбиение великих управленцев на следующие классы:

- управление на взаимопонимании (Соломон, Алексей Романов, королева Виктория, Лихачев, Дэн Сяопин);

-сочетание взаимопонимания и силового давления (Перикл, Александр Македонский, Август, Екатерина II, Талейран, Рузвельт, Вашингтон, де Голль, Морган, Королев, Ли Якокка);

-управление на силовом давлении (Чингисхан, Петр I, Наполеон, Бисмарк, Сталин).

В реальной практике классификация управленцев по тем или иным обобщенным критериям позволяет более эффективно решать кадровые проблемы, в особенности, при формировании высшего управленческого звена.

ПОЛУЧЕНИЕ, ОБРАБОТКА И ИСПОЛЬЗОВАНИЕ ЭКСПЕРТНОЙ

ИНФОРМАЦИИ

Тема 5. Организация и проведение экспертиз Тема посвященна методам получения и обработки экспертной информации, дается обзор наиболее известных методов организации и проведения экспертиз, включая методы Делфи и решающих матриц Поспелова, мозговой атаки и прогнозного графа. Отдельно рассматриваются методы разработки сценариев, эффективно используемые при ситуационном анализе.

Тема 6. Оценка качества эксперта Дается обзор наиболее распространенных методов оценки качества эксперта.

Они подразделяются на априорные, в основе которых использование информации о компетентности эксперта, полученной до его участия в работе экспертных комиссий; апостериорные - рассчитанные на основании данных об оценке результатов участия эксперта в работе экспертных комиссий; тестовые - рассчитанные на основе специально разработанных тестов.

Тема 7. Методы получения количественных и качественных экспертных оценок Приводятся методы получения качественных экспертных оценок такие, как парные сравнения и ранжирования, вектора предпочтений и дискретные экспертные кривые, и методы получения количественных экспертных оценок такие, как метод непосредственной количественной оценки и средней точки, Черчмена-Акофа и лотерей.

Тема 8. Основные принципы теории измерений Тема посвящена основам теории экспертных измерений, обсуждаются определение шкалы, основные виды шкал, используемые при экспертных измерениях, основные проблемы, возникающие при экспертных измерениях такие, как проблема представимости экспертной информации, проблема единственности и проблема адекватности преобразований экспертной информации.

Тема 9. Многокритериальные оценки Основное внимание уделено многокритериальным оценкам, позволяющим определить степень достижения цели с учетом частных факторов ее характеризующих. Приводятся свойства, которым должен удовлетворять набор частных критериев, характеризующих объект управления. Рассматриваются достаточно часто используемые в экономике при принятии решений о выборе наиболее предпочтительного проекта методы "стоимость - эффективность" и "затраты - прибыль". На их примере показываются механизмы принятия решений при многокритериальных оценках.

Тема 10. Оценочные системы Детально рассматриваются оценочные системы – основной инструментарий, используемый при оценке сравнительной предпочтительности альтернативных вариантов, определяющей выбор. Обсуждаются составляющие оценочных систем: формирование частных критериев, определение их сравнительной весомости, шкал, предназначенных для определения оценок объекта экспертизы по частным критериям, принципы выбора. Широко используемые в настоящее время рейтинги также являются разновидностью оценочных систем.

Тема 11. Коллективные экспертизы Тема посвящена экспертным кривым, позволяющим получать представление о динамике развития управленческих ситуаций во времени либо в зависимости от того или иного фактора, влияющего на их развитие.

Тема 12. Методы определения результирующей экспертной оценки Дается описание коллективных экспертиз. Формулируются особенности коллективных экспертиз такие, как возможность более полных и разносторонних оценок объектов экспертизы, возможность получения объективизированных и более надежных оценок и т.д. Анализируются свойства коллективных решений, впервые сформулированные Эрроу и парадокс Эрроу, согласно которому их совместное выполнение невозможно. Приводятся примеры, подтверждающие, что правило большинства во многих случаях не позволяет определить выбор, действительно соответствующий предпочтениям большинства.

Тема 13. Анализ результатов экспертизы Приводятся рациональные формы представления и методы корректного определения результата работы экспертных комиссий, в частности, определения результирующего ранжирования объектов экспертизы на основании ранжирований, указанных экспертами. Приводятся, сопровождаемые примерами, алгоритмы определения результатов коллективной экспертизы.

Неотъемлемой частью оценочной системы являются шкалы, в которых производятся оценки проектов по критериям, включенным в состав оценочной системы.

Если критерии, по которым оцениваются проекты, носят экономический характер и измеряются в рублях (долларах), годах (месяцах), процентах и т.д., то мы, как правило, пользуемся соответствующими общеизвестными шкалами.

Однако нередко при оценивании проектов возникает необходимость в использовании критериев, оценки по которым могут быть получены лишь с помощью специально разрабатываемых вербально-числовых шкал. Вербально-числовые шкалы применяются преимущественно в тех случаях, когда оценки по критерию носят субъективный характер. Например, субъективный характер оценок, в основе которого опыт и знания эксперта, носят оценки степени риска, ожидаемой конкурентоспособности продукции, сравнительной значимости того или иного фактора и многие другие. Смысл вербальночисловых шкал в том, что они позволяют измерить степень интенсивности критериального свойства, имеющего субъективный характер.

В состав вербально-числовых шкал входят, как правило, содержательное описание градаций шкалы и числовые значения, соответствующие каждой из градаций шкалы.

В качестве примера вербально-числовой шкалы, имеющей достаточно широкое применение, можно привести шкалу Харрингтона для характеристики степени выраженности критериального свойства.

Численные значения градаций шкалы Харрингтона получены на основе анализа и обработки большого массива статистических данных. Шкала Харрингтона имеет достаточно универсальный характер и может в соответствующих модификациях использоваться для оценки различных показателей качественного характера.

Однако при оценке проектов по критериям, допускающим лишь субъективную оценку специалистов, целесообразны разработка и использование специальных шкал, отражающих специфику того или иного критерия, той или иной группы объектов экспертизы.

Можно использовать следующую процедуру для формирования вербально-числовых шкал, специально предназначенных для оценки проектов по критериям, для которых общепринятые вербально-числовые шкалы отсутствуют.

Формирование вербально-числовой шкалы можно разбить на два этапа :

выбор градаций (делений) шкалы и определение их численных значений.

Очень важно при определении набора градаций шкалы, выбрать такие, содержательные интерпретации которых одинаково или почти одинаково с незначительными разногласиями, не превышающими заданного порога, принимаются всеми экспертами, участвующими в работе экспертной комиссии.

Для получения численных значений, соответствующих содержательно описанным градациям шкалы, могут быть использованы специальные методы.

Таким образом, нами рассмотрены основные проблемы формирования оценочных систем.

Самостоятельный интерес при формировании оценочной системы представляет определение принципа принятия решения (решающего правила), на основании которого по значениям критериев оцененных проектов устанавливается их сравнительная предпочтительность.

Частично проблемы определения принципа принятия решений уже были обсуждены нами в данном и предыдущем разделах.

КОЛЛЕКТИВНЫЕ ЭКСПЕРТИЗЫ

Повышение надежности экспертных оценок, используемых при принятии важных стратегических и тактических решений, - одна из центральных проблем при создании эффективного механизма управления любой организацией.

Сопоставление мнений ведущих специалистов в особо сложных случаях практикуется, например, в медицине и позволяет находить подчас единственно правильные решения. Это относится как к диагностике сложных случаев, так и к определению способа лечения.

Во время ведения военных действий объектом экспертной оценки становится анализ ситуации, разработка возможных сценариев развития событий, решения о выборе одного из альтернативных вариантов действий. При этом эффективность механизма принятия решений во многом оказывает значительное влияние, как на исход отдельного сражения, так и на судьбу армий и целых народов. Отмечено, что армии с более эффективным механизмом выработки и принятия решений побеждают чаще.

В результате естественного отбора выживают при прочих примерно равных условиях особи с более эффективно работающим механизмом принятия решения.

Бизнесмен, руководитель фирмы, банка хотя и не ведет военных действий, но от качества принимаемых им решений зависит, нередко, степень успешности реализации проектов, процветание, а в критических ситуациях – выживание организации. Это относится, в частности, к принятию решений о реализации того или иного проекта, об обращении за кредитом либо его выдаче, о выборе того или иного альтернативного варианта финансового плана и т.д.

Естественно, когда кризисная ситуация наступила, поздно создавать эффективную систему управления, неотъемлемой составной частью которой является экспертное оценивание. Ее надо создавать заблаговременно, лучше в момент формирования организации, создания бизнеса либо в стабильной ситуации. Однако нередко необходимость в эффективной системе управления мы осознаем лишь при неблагоприятном развитии событий, когда ставки уже сделаны.

Отметим основные особенности коллективной экспертизы.

1. Более полное представление о ситуации Опыт проведения экспертиз показывает, что различные эксперты нередко представляют достаточно детально различные аспекты анализируемой ситуации. Объединение и сопоставление экспертных заключений различных экспертов позволяет получить более полную картину относительно объекта экспертизы.

2. Выявление заведомо не конкурентоспособных вариантов Сопоставление точек зрения различных экспертов позволяет выявить альтернативные варианты, использование которых нецелесообразно. Например, если в качестве эксперта, оценивавшего целесообразность реализации проекта, выступает экономист, он может не обратить внимание на юридические аспекты, которые делают практически невозможной реализацию проекта. В то же время эксперт – юрист может недостаточно точно определить срок окупаемости проекта и его рентабельность, установить, что предусматриваемые в проекте сроки поступления инвестиций могут поставить под угрозу его реализацию. Мы не говорим уже о значительных потенциальных возможностях влияния конъюнктурных интересов при оценке объекта одним экспертом.

3. Выявление верных "еретических" суждений Иногда ситуация такова, что к успеху может вести лишь ограниченное число вариантов решения и отыскать такие решения непросто. Их могут, в отдельных случаях предложить лишь специалисты, детально представляющие достаточно узкие профессиональные области. Мнение таких экспертов может существенно отличаться от мнения большинства, но именно оно может оказаться верным. Коллективные экспертизы способствуют выявлению более широкого диапазона мнений, среди которых может оказаться и единственное, ведущее к успеху.

4. Получение объективизированных оценок Мнения отдельных экспертов могут в различной степени носить оттенок субъективизма. Обсуждение экспертных заключений, предусматриваемое рядом экспертных процедур, способствует выработке объективизированных заключений. Этому же способствуют процедуры выработки коллективных экспертных суждений и оценок на основании суждений и оценок, высказанных отдельными экспертами.

5. Получение оценок повышенной надежности Экспертные заключения, получаемые в результате коллективных экспертиз, во многих случаях оказываются более взвешенными, более устойчивыми при поступлении дополнительной информации, более обоснованными, учитывающими большее число вариантов возможного развития событий. А, следовательно, результаты коллективной экспертизы во многих случаях более надежны.

В этом разделе мы рассмотрим некоторые свойства, характерные для решений, принимаемых коллективно. Их необходимо учитывать при обработке экспертной информации и выработке коллективных экспертных заключений, относящихся к определению сравнительной предпочтительности рассматриваемых альтернативных вариантов.

1. Свойство независимости. Результирующая коллективная экспертная оценка не зависит от добавления новых или исключения части старых рассматриваемых вариантов.

2. Свойство непредвзятости. В результирующей коллективной оценке относительно любого набора альтернативных вариантов принципиально могут быть реализованы все возможные сочетания их сравнительной предпочтительности.

3. Свойство монотонности. Если какой-либо из экспертов изменил мнение в пользу коллективного, то результирующая коллективная оценка не изменится.

4. Свойство ненавязанности. Всегда можно подобрать такие оценки сравнительной предпочтительности альтернативных вариантов, что в одном случае один альтернативный вариант будет лучше другого, а в другом случае – наоборот.

5. Свойство отсутствия диктатора. Не должно существовать сравнительной оценки альтернативных вариантов, данной одним из экспертов, которая принималась бы в качестве результирующей независимо от сравнительных оценок, данных другими экспертами.

Эти свойства, сформулированные строго математически, называются принципами коллективного выбора Эрроу. Оказывается, что одновременное их выполнение для результирующей коллективной оценки невозможно (так называемый парадокс Эрроу).

Однако, несколько ослабив перечисленные выше требования к результирующей экспертной оценке, можно получить способы ее определения, удовлетворяющие основным из них. Корректные способы определения результирующей коллективной экспертной оценки как раз таковыми и являются.

Остановимся еще на одном факте, который необходимо принимать во внимание при определении результирующей коллективной экспертной оценки.

Для определения наиболее предпочтительного из альтернативных вариантов, недостаточны экспертные процедуры, при которых каждый эксперт указывает лишь единственный наиболее предпочтительный из рассматриваемых вариант. Более точное представление о предпочтениях экспертов можно получить, если эксперты проранжируют все рассматриваемые (или основные) альтернативные варианты по предпочтительности.

Пример, подтверждающий это утверждение, приведен в разделе 1.4., посвященном типичным ошибкам при организации и проведении экспертиз.

Поэтому при определении результирующей коллективной экспертной оценки сравнительной предпочтительности альтернативных вариантов целесообразно производить их ранжирование. В настоящее время разработаны надежные методы получения коллективной экспертной оценки, если информация о предпочтениях эксперта представлена в виде ранжирований альтернативных вариантов. Методы получения результирующих ранжирований при коллективных экспертизах приведены в следующем разделе.

Если экспертные оценки получены с рекомендациями раздел 2.3 и в достаточно "сильной" шкале, то, в случае непосредственных количественных оценок, наиболее рекомендуемыми при определении результирующих можно считать в большинстве случаев средние арифметические оценок отдельных экспертов. Естественно, что расчету результирующих коллективных оценок должен предшествовать анализ результатов оценок экспертами альтернативных вариантов, в частности, их непротиворечивости и степени согласованности.

Если при проведении экспертизы использованы качественные методы получения экспертной информации, то методы расчета результирующей коллективной оценки в большей степени зависят от использованного метода получения экспертной информации и будут приведены в следующем разделе.

Современные методы определения результирующей коллективной экспертной оценки основаны на использовании при обработке экспертной информации мер близости – аналога расстояний между оценками различных экспертов. Прежде всего, это относится к оценкам экспертами сравнительной предпочтительности альтернативных вариантов.

Как было установлено ранее, наиболее распространенным способом представления экспертной информации о сравнительной предпочтительности альтернативных вариантов являются ранжирования.

Поэтому описание методов определения результирующей коллективной экспертной оценки мы проведем, считая, что информация от экспертов получена в виде ранжирований альтернативных вариантов по предпочтительности.

Информацию о компьютерных системах, поддерживающих организацию и проведение экспертиз и предусматривающих обработку экспертной информации, можно найти в Части 3.

Итак, пусть в экспертизе по оценке 5 объектов, обозначенных своими порядковыми номерами, приняло участие 6 экспертов, получивших кодовые обозначения Э1, Э2, Э3, Э4, Э5, Э6.

После проведения процедуры оценивания сравнительной предпочтительности альтернативных вариантов получены экспертные оценки в виде ранжирований, при этом ранжирование каждого эксперта представлено столбцом с номерами альтернативных вариантов упорядоченных сверху вниз в порядке убывания их сравнительной предпочтительности:

Введем также число D1ij, принимающее значение 1, если в ранжировании эксперта Э1 альтернативный вариант с номером i занял более высокое место, чем альтернативный вариант с номером j. В противном случае число D1ij примет значение -1.

Тогда расстояние, скажем, между ранжированиями первого и второго экспертов R (1,2) равно числу несовпадений D1ij и D2ij для различных сочетаний номеров альтернативных вариантов i и j. В нашем примере оно равно 4.

Введение аналога расстояния между ранжированиями, данными различными экспертами, позволяет объективизировать определение результирующей коллективной экспертной оценки.

Результирующим для ранжирований, указанных экспертами, мы будем считать такое ранжирование Э*, что сумма расстояний от него до ранжирований, указанных экспертами минимальна.

Приведем упрощенный способ определения результирующего ранжирования. Если нам известны числа D1ij, а как только от экспертов получены ранжирования, они нам известны, для каждой пары альтернативных вариантов с номерами i и j подсчитаем число D1ij равных -1. Иными словами, в ранжированиях, указанных экспертами, подсчитаем число случаев, когда альтернативный вариант с номером j занял место более высокое, чем альтернативный вариант с номером i. Подсчитанное число поместим на пересечение i-ой строки и j-го столбца специальной таблицы.

Для рассматриваемого нами примера пяти объектов (альтернативных вариантов) и шести экспертов эта таблица будет иметь следующий вид:

состоит из следующих шагов:

1. Подсчитаем суммы строк таблицы.

2. Выделим строку с наименьшей суммой.

3. Альтернативный вариант с номером, равным номеру выделенной строки таблицы занимает первое место в результирующем ранжировании.

4. Строку и столбец с выделенным номером исключаем из таблицы.

5. Если не все строки и столбцы в таблице исключены, то возвращаемся к шагу 1. Если после очередного удаления строки и столбца таблица пуста, то все альтернативные варианты проранжированы.

Если возникает ситуация, когда наименьшую сумму имеют две или больше строк, то выделяются они одновременно, а соответствующие им альтернативные варианты занимают одинаковое место в результирующем ранжировании.

Если после применения алгоритма на соседних местах в полученном ранжировании оказываются два альтернативных варианта такие, что в большем числе ранжирований, указанных экспертами, альтернативный вариант, занявший худшее место в полученном ранжировании, считается более предпочтительным, то эти альтернативные варианты в результирующем ранжировании следует поменять местами.

В приведенном нами примере соответствующие строчные суммы последовательно по итерациям принимают следующие значения:

Для получения результирующего ранжирования может быть использован и другой алгоритм, основанный на подсчете строчных сумм, однако сама таблица, по которой производятся расчеты, строится несколько иначе.

В этом алгоритме после того, как эксперты проранжировали по предпочтительности оцениваемые альтернативные варианты, полученные ранжирования используются следующим образом.

Подсчитывается сколько раз в ранжированиях, указанных экспертами, альтернативный вариант с номером i оказывался более предпочтительным, чем альтернативный вариант с номером j. Это число и помещается на пересечении i-ой строки и j-го столбца специальной таблицы. После того, как эта таблица построена для определения результирующего ранжирования, используется алгоритм, аналогичный изложенному выше, с тем отличием, что после подсчета строчных сумм выделяется строка с наибольшей строчной суммой.

Альтернативный вариант с номером, равным номеру соответствующей строки, занимает самое высокое из оставшихся к тому моменту мест.

В рассмотренном нами выше примере специальная таблица для второго алгоритма будет иметь вид:

Если информация об оценке сравнительной предпочтительности альтернативных вариантов экспертами представлена в виде векторов предпочтений, то для отыскания результирующего коллективного ранжирования может быть использован алгоритм, состоящий из следующих шагов:

1. Для векторов предпочтений последовательно подсчитываются суммы чисел, представляющих соответственно первую, вторую и т.д. компоненты векторов предпочтений.

2. Суммы компонент векторов предпочтений сравниваются и упорядочиваются по возрастанию.

3. Объекты (альтернативные варианты) упорядочиваются (ранжируются) в соответствии с упорядочением сумм компонент. При этом первое место занимает в результирующем ранжировании объект, имеющий наименьшее значение соответствующей суммы компонент.

Покажем применение приведенного алгоритма на примере.

Пусть шесть экспертов построили вектора предпочтений для пяти объектов, указав для каждого объекта число объектов, его превосходящих:

Заметим, что во всех трех случаях обработки исходной экспертной информации с помощью различных алгоритмов получены одинаковые результаты.

Однако так бывает далеко не всегда.

Не менее актуальным является определение результирующей дискретной экспертной кривой по дискретным экспертным кривым, указанным экспертами.

На первом шаге алгоритма определения результирующей дискретной экспертной кривой определяется результирующий набор характерных точек, в которых ожидается смена тенденции изменения значений оцениваемого показателя. В результирующий набор войдут все характерные точки, указанные хотя бы одним из экспертов. В некоторых случаях целесообразно использование процедуры согласования экспертами результирующего набора характерных точек.

На втором шаге алгоритма устанавливаются значения оцениваемого показателя в характерных точках. Если в дискретной экспертной кривой, указанной экспертом, имеются все характерные точки, представленные в результирующем наборе, то они и берутся для дальнейших расчетов. Если же в дискретной экспертной кривой характерная точка отсутствует, то поскольку на участках между характерными точками значения показателя изменяются линейно, значение оцениваемого показателя в новой характерной точке легко определяется.

На третьем шаге в каждой результирующей характерной точке рассчитывается значение показателя результирующей дискретной экспертной кривой. Конечно, для грубой прикидки можно ограничиться расчетом среднего арифметического значений показателя по всем дискретным экспертным кривым, указанным экспертами. Однако мы рекомендуем, наряду с расчетом средних арифметических значений показателя, учитывать также и связи, существующие между точками одной дискретной экспертной кривой.

При определении результирующей коллективной экспертной оценки, данной экспертами в количественном виде, обработка экспертной информации, как правило, может производится с помощью хорошо известных методов, аналогичных обсужденным нами в этом разделе.

АНАЛИЗ РЕЗУЛЬТАТОВ ЭКСПЕРТИЗЫ

Получению более достоверных и надежных результатов экспертизы способствует проведение их анализа.

Определим те основные моменты, на которые необходимо обращать внимание при анализе результатов экспертизы.

1. Неточность экспертных оценок Анализ результатов экспертных оценок показал, что эксперты не всегда бывают точны в своих оценках.

Напомним сначала, когда оценка точности экспертных оценок в принципе возможна. Она возможна, когда экспертные оценки носят тестовый характер, т.е. когда, например, заранее известны значения оцениваемого экспертами показателя.

Это используется в тех случаях, когда предстоящие экспертизы достаточно важны и необходимо для участия в работе отобрать наиболее профессионально подготовленных экспертов.

Такая оценка возможна, если экспертиза проводится с целью разработки прогноза и эксперты должны указать ожидаемые значения показателей. При наступлении сроков, указанных в экспертном прогнозе можно определить, насколько точны были эксперты.

Однако оценка точности экспертных суждений, даже когда известны истинные значения оцениваемых показателей, не всегда простая задача. Здесь важно правильно выбрать критерий для оценки точности.

Так, например, для оценки точности экспертной оценки значения показателя Э относительно его истинного значения И могут использоваться такие критерии, как:

Здесь через ¦Э - И¦ и т.д. обозначается абсолютная величина разности.

В зависимости от того, какой критерий для оценки точности используется, результаты такой оценки могут различаться. Особенно, когда возникает необходимость выяснить, кто из экспертов, участвующих в экспертизе, оказался более точен.

Влияние выбора критерия для определения точности оценок эксперта исследовано Ю.В. Сидельниковым.

Укажем основные, с нашей точки зрения, причины, приводящие к недостаточной точности экспертных оценок.

1.1. Недостаточная компетентность экспертов В реальной практике она объясняется как отсутствием хорошо разработанных специальных технологий по формированию экспертных комиссий, так и недостаточной организацией работы по подбору экспертов. Нередко не собирается и не анализируется информация об экспертах, об областях их профессиональной деятельности, о степени знакомства с объектом экспертизы.

1.2. Недостаточная подготовленность экспертизы Встречаются ситуации, когда цели экспертизы недостаточно четко сформулированы. Это может объясняться как недостаточно четким представлением организаторов экспертизы о задачах, которые должны решать эксперты, так и недостаточно четкой формулировкой их для экспертов.

Встречается недостаточная подготовленность к использованию выбранной технологии организации и проведения экспертиз, отсутствие необходимой квалификации рабочей группы, проводящей экспертизу.

Причиной неточности экспертных оценок может быть также недостаточность, а тем более недостоверность информации об объекте экспертизы.

1.3. Несовершенство используемых технологий организации и проведения экспертиз Востребованность экспертных оценок привела к возникновению, наряду с профессионально разработанными технологиями, технологий, разработанных непрофессионально. В них нередко оказывается заложенной систематическая неточность получаемых с их помощью экспертных оценок и отсутствуют методы и экспертные процедуры, обеспечивающие достаточную надежность экспертной информации.

Необходимо в технологиях получения экспертной информации учитывать и цели экспертизы, и характер экспертной информации, и возможности эксперта оперировать лишь с ограниченным числом объектов при их сравнительной оценке, с ограниченным числом градаций шкалы и т.д.

1.4. Отсутствие адекватных оценочных систем Отсутствие при сравнительной оценке объектов экспертизы оценочной системы, позволяющей адекватно оценить их сравнительную предпочтительность, может приводить к неверным заключениям.

Напомним, что при формировании оценочной системы, должны быть верно определены факторы, характеризующие объект экспертизы в соответствии с целями экспертизы, шкалы для их оценки, их сравнительная значимость, решающие правила.

1.5. Несовершенство используемых методов обработки экспертной информации Качество получаемых экспертных оценок зависит и от используемых методов обработки экспертной информации. Известны случаи, когда при обработке информации, полученной от экспертов, не учитывается специфика шкал, в которых измерения произведены. Например, находится среднее арифметическое рангов, хотя те несут лишь качественную (неколичественную) информацию о сравнительной предпочтительности альтернативных вариантов и т.д. При многокритериальном оценивании могут использоваться ненормированные оценки, произведенные в различных шкалах. Методы определения результирующих коллективных оценок не всегда учитывают характер обрабатываемой экспертной информации, что может приводить к неверным выводам о сравнительной предпочтительности объектов экспертизы.

2. Противоречивость Как установлено практикой организации и проведения экспертиз, эксперты не всегда последовательны в своих оценочных суждениях.

Например, ознакомившись с результатом своей работы по экспертной классификации либо по последовательному отнесению объектов к тому либо иному уровню, категории и т.д., эксперты нередко вносят коррективы в данные ими оценки. После представления результата экспертного оценивания эксперты нередко считают отдельные объекты, принадлежащими к другому классу при классификации либо к другой категории, уровню при сравнительной оценке объектов экспертизы и т.д.

Особенно часто с непоследовательностью экспертов приходится сталкиваться при использовании методов типа метода парных сравнений. Как уже говорилось ранее, нередко наблюдаются ситуации, когда по мнению одного и того же эксперта один из объектов предпочтительнее другого, другой - третьего, а третий - первого. Это называется нарушением свойства транзитивности.

В таких случаях эксперту может быть рекомендовано уточнить свои оценки. Однако бывают случаи, когда несоблюдение свойства транзитивности вызвано не ошибкой эксперта, а его системой предпочтений, в особенности, если при сравнении объектов экспертизы используются многокритериальные оценки.

Если эксперту предлагается сравнить достаточно большое число различных парных сочетаний объектов экспертизы, количество нарушений свойства транзитивности может быть достаточно большим.

3. Несогласованность при коллективной экспертизе При анализе результатов экспертизы следует обратить должное внимание на степень согласованности экспертных оценок, получаемых при ее проведении.

Мы не можем однозначно ответить на вопрос хорошо или плохо, если экспертные оценки согласованы или наоборот не согласованы.

Это во многом зависит от характера и особенностей конкретной экспертизы, от состава экспертной комиссии.

Согласованность мнений экспертной комиссии может иногда отражать лишь тот факт, что к проведению экспертизы отнеслись формально, не придавая особого значения ее результатам. Она может означать также, что эксперты при вынесении заключений и оценок проявили высокую степень конформизма, либо, что оцениваемая ситуация или сравнительная оценка предпочтительности объектов экспертизы настолько очевидна, что реальной необходимости в проведении экспертизы не было.

С другой стороны, несогласованность экспертных суждений может отражать тот факт, что эксперты по разному поняли цели экспертизы. Либо при наличии определенной степени конъюнктурности экспертных оценок отражать тот факт, что в работе экспертной комиссии принимают участие эксперты с противоположными интересами и т.д.

Однако, с нашей точки зрения, анализ согласованности экспертных суждений необходим. Содержательная интерпретация результатов анализа согласованности экспертных суждений, выявление по результатам оценок коалиций экспертов - "единомышленников" позволяет подчас сделать важные выводы, выявить причину несогласованности, повысить надежность получаемых экспертных оценок.

Для оценки степени согласованности оценок экспертов при определении сравнительной предпочтительности альтернативных вариантов чаще всего используется метод ранговых корреляций. Для каждой пары ранжирований альтернативных вариантов по предпочтениям, указанных экспертами, может быть рассчитан коэффициент ранговой корреляции.

Пусть имеются два ранжирования n альтернативных вариантов Э1 и Э2, указанные соответственно первым и вторым экспертами.

Обозначим через p(1) ij - результат сравнительной оценки альтернативного варианта с номером i и альтернативного варианта с номером j, данной первым – результат сравнительной оценки альтернативного варианта с номером i и альтернативного варианта с номером j, данной вторым экспертом.

p (1) ij и p (2) ij принимают значение 1, если альтернативный вариант с номером i предпочтительней альтернативного варианта с номером j, а в противном случае принимают значение -1.

Коэффициент ранговой корреляции по Кендаллу, принимающий значение от 1, когда ранжирования двух экспертов полностью согласованы, до -1, когда ранжирования двух экспертов полностью противоположны, вычисляется по формуле:

Но согласованность может быть рассчитана не только для отдельно взятой пары экспертов, но и для совокупности ранжирований, указанных всеми экспертами.

Мы можем для каждого объекта подсчитать сумму рангов, которые он получил в ранжированиях всех экспертов. Среднее значение суммы рангов равно 1/2m(n+1), где m - число экспертов.

Обозначим через S сумму квадратов отклонений суммы рангов, полученных объектом в ранжированиях всех экспертов, от среднего значения суммы рангов.

Тогда мы можем рассчитать значение коэффициента конкордации, характеризующего степень согласованности всех экспертов, по формуле:

Помимо обсужденных в данном разделе методов анализа результатов экспертных оценок, в практике организации и проведения экспертиз используются и другие. В частности, используются методы оценки степени конъюнктурности оценок экспертов, повторяемости результата и т.д.

СИТУАЦИОННЫЙ ПОДХОД

К числу основных подходов к ре ше нию упра вле нче ских пробле м, позволяющих в полной ме ре использова ть совре ме нные те хнологии экспе ртного оце нива ния, относится ситуа ционный подход.

Сит уационный подход на се годняшний де нь являе тся одним из на иболе е пе рспе ктивных в ре а льной пра ктике упра вле ния.

С одной стороны, это один из на иболе е ра зра бота нных инструме нтов для после дова те льного, компле ксного, систе много а на лиза ситуа ций принятия ва жных упра вле нче ских ре ше ний. А, с другой стороны, он позволяе т выявлять основные те нде нции, опре де ляющие дина мику ра звития ситуа ции принятия ре ше ния, а та кже основные упра вляющие возде йствия, способные ока зать влияние на развитие ситуации.

Ситуационный подход позволяет руководителю, наряду с целостным представлением объекта управления и его функционирования во внешней среде, осуществлять эффективное управление конкретной ситуацией принятия управленческого решения.

Этот подход позволяет принимать решения, основываясь на анализе и понимании ситуации, динамики ее изменения, а не исходя из традиционного принципа проб и ошибок. Возможность осуществления предварительного анализа ситуации и предвидения ее ожидаемых изменений, делает ситуационный подход гораздо более эффективным и позволяет избежать, порой, значительных потерь ресурсов и времени.

В основу ситуационного подхода положен ситуационный анализ.

Ситуационный анализ это комплексные технологии подготовки, принятия и реализации управленческого решения, в основе которых анализ отдельно взятой управленческой ситуации.

Ситуационный анализ является, в некотором смысле, противоположностью стратегическому управлению.

Действительно, стратегическое управление идет от глобального представления организации, ее целей и способов их достижения, которые в дальнейше м конкре тизируются, де та лизируются, воплоща ются в виде пла нов и за да ний.

Но путь от выра ботки стра те гии орга низа ции до е е воплоще ния в виде пла нов и за да ний доста точно ве лик.

Стра те гиче ское упра вле ние се годня используе тся да ле ко не во все х орга низа циях. А та м, где оно де йствите льно используе тся, не избе же н ра зрыв ме жду опе ра тивно принима е мыми ре ше ниями и ре ше ниями стра те гиче ского ха ра кте ра.

Ситуа ционный а на лиз, в противоположность те хнологиям стра те гиче ского упра вле ния, иде т от конкре тных ситуа ций, от конкре тных пробле м, возника ющих в ре а льной де яте льности орга низа ции, по которым должно быть принято упра вле нче ское ре ше ние.