МИНИСТЕРСТВО ОБРАЗОВАНИЯ
РОССИЙСКОЙ ФЕДЕРАЦИИ
АЛТАЙСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
Экономический факультет
Кафедра антикризисного управления, оценки бизнеса и инноваций




МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК
(курсовая работа)



Выполнила студентка
3 курса, группа 277
Стрекалова С.Б.

Научный руководитель
Киселева Н.М.

Работа защищена
1999г.
Оценка

Барнаул – 1999
СОДЕРЖАНИЕ
Введение 3
Глава 1. ЭКСПЕРТИЗА В УПРАВЛЕНИИ 5
1.1. Роль экспертов в управлении 5
1.2. Метод экспертных оценок 7
1.3. Организация экспертного оценивания 9
1.4. Подбор экспертов 9
1.5. Опрос экспертов 10
Глава 2. ФОРМАЛИЗАЦИЯ ИНФРОРМАЦИИ
И ШКАЛЫ СРАВНЕНИЙ 12
Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК 16
3.1. Задачи обработки 16
3.2. Групповая оценка объектов 17
3.3. Оценка согласованности мнений экспертов 22
3.4. Обработка парных сравнений объектов 25
3.5. Определение взаимосвязи ранжировок 27
Заключение 31
Список литературы 32










ВВЕДЕНИЕ
Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства.
Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности. В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений.
Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широкое применение в социально-политическом и научно-техническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных программ, в решении отдельных проблем управления.
В ходе развития общественного производства возрастают не только сложность управления, но и требования к качеству принимаемых решений. Для того, чтобы повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, необходим разносторонний анализ, основанный как на расчетах, так и на аргументированных суждениях руководителей и специалистов, знакомых с состоянием дел и перспективами развития в различных областях практической деятельности. Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность.
Целью нашей работы является изучение метода экспертных оценок - одного из важнейших этапов принятия грамотных управленческих решений.
Задачи:
изучение роли экспертизы в управлении;
рассмотрение порядка организации экспертного оценивания;
изучение видов шкал и порядка их использования;
подробное рассмотрение заключительного этапа экспертного оценивания – обработки экспертных оценок.
Реферат состоит из введения, трех глав, заключения и списка использованной литературы.
В первой главе рассматривается вопрос о необходимости экспертизы в управлении, рассмотрен метод экспертных оценок, этапы организации экспертного оценивания.
Вторая глава посвящена рассмотрению шкал сравнений, даны характеристики каждому виду шкал и порядок их использования при формализации информации.
В третьей главе рассматривается обработка экспертных оценок: задачи обработки, групповая оценка объектов, оценка согласованности мнений экспертов, обработка парных сравнений объектов и определение взаимосвязи ранжировок.
Так как целью данной работы является рассмотрение экспертного оценивания в теоретическом аспекте, то практическое применение не рассматривается.
В заключении рассматривается роль метода экспертных оценок в принятии управленческих решений.








Глава 1. ЭКСПЕРТИЗА В УПРАВЛЕНИИ
Роль экспертов в управлении

Современное общество развивается под постоянно усиливающимся воздействием научно-технической революции, которая вызывает коренные преобразования в производстве, глубокие изменения в структуре и экономике народного хозяйства. Происходящая научно-техническая революция по своему влиянию далеко выходит за пределы сферы материального производства, захватывая все стороны жизнедеятельности общества, предопределяя большинство решений, направленных на его рациональное экономическое и социальное развитие.
История развития науки, техники и производства показывает, что одновременно с последовательным замещением функций человека функциями машин увеличивается его роль в сфере управления. Непрерывный рост объема затрат на развитие науки, на создание новой техники и совершенствование производства существенно повышает значимость решений, принимаемых на всех уровнях управления народным хозяйством. Будущее науки. Техники и экономики в значительной мере зависит от качества и своевременности этих решений, а объективные тенденции научно-технического прогресса могут ускоряться или замедляться под их воздействием.
Особое значение в управлении сейчас приобретают методы оптимизации, основанные на применении формальных, чаще всего математических моделей, обеспечивающих экономию времени и средств при решении многих практических задач. Построение моделей помогает привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решений, в логически стройную схему, определить, какие данные необходимы для оценки и выбора альтернатив.
В процессе управления возникает естественное стремление к отысканию решения, которое объективно является наилучшим из всех возможных. В качестве инструмента оптимизации сейчас широко используется математическое программирование. Успехи в применении математического программирования к решению различного рода хозяйственных, научных, технических и военных задач породили методологические воззрения, согласно которым кардинальное решение проблем управления возможно только тогда, когда все его аспекты отображаются в системе взаимосвязанных математических моделей.
Однако, формализация технико-экономических и управленческих решений осложняется рядом особенностей современного этапа научно-технического прогресса. Жизнь общества настолько сложна, что трудно рассчитывать на появление моделей, которые полностью отражали бы природу и количественные взаимосвязи социально-экономических процессов. Реальная действительность всегда сложнее самых тонких математических моделей, а ее развитие часто опережает формальное познание. Задачи управления требуют в качестве неотъемлемого элемента решения участия людей. И, наконец, сам процесс управления всегда предполагает ориентацию не только на числовые данные, но и на обычный здравый смысл. Использование математического программирования и вычислительной техники позволяет принимать решения, основанные на более полной и надежной информации. Но, несомненно и то, что при любых условиях для выбора рационального решения требуется нечто большее, чем хорошая математическая модель.
Принимая решения, мы обычно предполагаем, что информация, используемая для их обоснования, достоверно и надежна. Но для многих экономических и научно-технических задач, являющихся по своему характеру качественно новыми и неповторяющимися, это предположение либо заведомо не реализуется, либо в момент принятия решения его не удается доказать.
Наличие информации и правильность ее использования в значительной степени предопределяют оптимальность выбранного решения. Кроме данных, состоящих из числовых статистических величин, информация включает в себя другие, не поддающиеся непосредственному измерению величины, например, предположения о возможных решениях и их результатах. Практика показывает, что основные трудности, возникающие при поиске и выборе деловых решений, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся информации.
Основные трудности, связанные с информацией, возникающие при выработке сложных решений, можно подразделить на следующие группы.
Во-первых, исходная статистическая информация зачастую бывает недостаточно достоверной.
Во-вторых, некоторая часть информации имеет качественный характер и не поддается количественной оценке. Так, нельзя точно рассчитать степень влияния социальных и политических факторов на реализацию планов, оценить экономический эффект будущих изобретений и т.д. Но, поскольку эти факторы и явления оказывают существенное влияние на результаты решений, их нельзя не учитывать.
В-третьих, в процессе подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств.
В-четвертых, существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.
В-пятых, одна из наиболее существенных трудностей при выборе решений состоит в том, что любая научная или техническая идея содержит в себе потенциальную возможность различных схем ее реализации, а любое экономическое действие может приводить к многочисленным исходам. Проблема выбора наилучшего варианта решения может возникнуть и потому, что обычно существуют ограничения в ресурсах, а следовательно, принятие одного варианта всегда связано с отказом от других решений.
В-шестых, при выборе наилучшего решения мы нередко сталкиваемся с многозначностью обобщенного критерия, на основе которого можно произвести сравнение возможных исходов. Многозначность, многомерность и качественное различие показателей являются серьезным препятствием для получения обобщенной оценки относительной эффективности, важности, ценности или полезности каждого из возможных решений.
В связи с этим одна из главных особенностей решения сложных проблем состоит в том, что применение расчетов здесь всегда переплетается с использованием суждений руководителей, ученых, специалистов. Эти суждения позволяют хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. Закономерность развития науки и техники состоит в том, что новые знания, научно-техническая информация накапливаются в течение длительного периода времени. Нередко это накопление идет в скрытой форме в сознании ученых и разработчиков. Они, как никто другой, способны оценить перспективы той области, в которой работают, и предвидеть характеристики тех систем, в создании которых непосредственно участвуют.
Опыт показывает, что использование несистематизированных суждений отдельных специалистов оказывается при решении многих сложных научных и технических проблем недостаточно эффективным вследствие многообразия взаимосвязей между основными элементами таких проблем и невозможности охвата их всех. При использовании традиционных процедур подготовки решений нередко не удается рассмотреть широкий диапазон факторов, учесть весь спектр альтернативных путей решения проблем.
Все это заставляет прибегать к комплектованию групп специалистов, представляющих в качестве экспертов различные области знаний. Применение групповой экспертизы позволяет не только рассмотреть множество аспектов и факторов, но и объединить различные подходы, с помощью которых руководитель находит наилучшее решение.
1.2. Метод экспертных оценок
Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.
При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.
Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.
Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов.
В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.
Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:
1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;
2) групповое мнение экспертов близко к истинному решению проблемы.
Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.
Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.
Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:
1) составление перечня возможных событий в различных областях за определенный промежуток времени;
2) определение наиболее вероятных интервалов времени свершения совокупности событий;
3) определение целей и задач управления с упорядочением их по степени важности;
4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;
5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;
6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.
Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.
Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.
Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.
При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.
1.3. Организация экспертного оценивания
Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.
Для подготовки этого документа, а также для руководства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы.
После формирования группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного списка экспертов с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.
Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.
Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки.
В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.
Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и одобрение результатов; представление итогов работы на утверждение; ознакомление с результатами экспертизы организаций и лиц.
1.4. Подбор экспертов
Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее.
Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.
Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.
Определение характера зависимости достоверности от перечисленных факторов является еще одной проблемой процедуры подбора экспертов.
Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.
Еще одной проблемой является организация процедуры подбора экспертов, т.е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации.
Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив зависимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.
Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты.
После составления списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.
После составления и утверждения списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.
1.5. Опрос экспертов
Опрос – главный этап совместной работы группы управления и экспертов. Основным содержанием опроса является:
- постановка задачи и предъявление вопросов экспертам;
- информационное обеспечение работы экспертов;
- выработка экспертами суждений, оценок, предложений;
- сбор результатов работы экспертов.
Можно назвать три типа задач, которые решаются в процессе опроса:
- оценка качественная или количественная заданных объектов;
- построение новых объектов;
- построение и оценка новых объектов.
При коллективной экспертизе используются следующие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.
Анкетирование может проводиться с обратной связью или без нее. При анкетировании с обратной связью опрос экспертов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.
Главным в организации опроса является обеспечение максимума информации и максимума творческой активности, самостоятельности эксперта. Необходимо стремиться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты, так и организаторы опроса, не лишая в то же время эксперта творческой самостоятельности и активности.
Однако возможности эксперта по переработке информации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она представляется в доходчивой, яркой и компактной форме.
Из этих психологических особенностей следует необходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения записей, использования технических средств, а также необходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.
Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой независимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невозможно, и при каждой экспертизе ее организаторы должны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспертов.
Каждый из видов опроса имеет свои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многими факторами, из которых основными являются:
- цель и задачи экспертизы;
- существо и сложность анализируемой проблемы;
- полнота и достоверность исходной информации;
- требуемые объем и достоверность информации, получаемой в результате опроса;
- время, отведенное на опрос и экспертизу в целом;
- допустимая стоимость опроса, и экспертизы в целом;
- количество экспертов и членов группы управления, их характеристики.
Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образом сочетать информационное обеспечение экспертов с их самостоятельным творчеством.
Глава 2. ФОРМАЛИЗАЦИЯ ИНФОРМАЦИИ И ШКАЛЫ СРАВНЕНИЙ
Рациональное использование информации, полученной от экспертов, возможно при условии образования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.
Возможности формализации информации зависят от специфических особенностей исследуемого объекта, надежности и полноты имеющихся данных, уровня принятия решения. Форма представления экспертных данных зависит и от принятого критерия, на выбор которого, в свою очередь, существенное влияние оказывает специфика исследуемой проблемы.
Формализация информации, полученной от экспертов, должна быть направлена на подготовку решения таких технико-экономических и хозяйственных задач, которые не могут быть в полной мере описаны математически, поскольку являются «слабоструктуризованными», т.е. содержат неопределенности, связанные не только с измерением, но и самим характером исследуемых целей, средств их достижения и внешних условий.
При анализе перспектив необходимо не только представить в виде косвенных оценок часть информации, не поддающуюся количественному измерению, и не только выразить с помощью таких оценок количественно измеримую информацию, о которой в момент подготовки решения нет достаточно надежных данных. Самое важное – формализовать эту информацию так, чтобы помочь принимающему решение выбрать из множества действий одно или несколько, наиболее предпочтительные в отношении некоторого критерия.
Если эксперт в состоянии сравнить и оценить возможные варианты действий, приписав каждому из них определенное число, значит, он обладает определенной системой предпочтений. В зависимости от того, по какой шкале могут быть заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к формализации.
Исследуемые объекты или явления можно опознавать или различать на основе признаков или факторов. Фактор – это множество, состоящее, по крайней мере, из двух элементов, отражающих различные уровни некоторых подлежащих рассмотрению величин. Уровень одних факторов может быть выражен количественно (в рублях, процентах, килограммах и т.д.) – такие факторы называются количественными. Уровень других нельзя выразить с помощью числа, их называют качественными.
Факторы условно разделяют на дискретные и непрерывные. Дискретными являются факторы с определенным, обычно небольшим, числом уровней. Факторы, уровни которых рассматриваются как образующие непрерывное множество, называют непрерывными. В зависимости от целей и возможностей анализа одни и те же факторы могут трактоваться или как дискретные, или как непрерывные.
Рассмотрим основные логические аксиомы, которые используются в эксперных методах при формализации информации с помощью различных шкал.
При использовании номинальных шкал исследуемые объекты можно опознавать и различать на основе трех аксиом идентификации [6]:
i либо есть j, либо есть не j;
если i есть j, то j есть i;
если i есть j и j есть k, то i есть k.
Факторы в данном случае выступают как ассоциативные показатели, обладающие информацией, которая может быть формализована в виде бинарных оценок двух уровней: 1 (идентичен) или 0 (различен).
В случаях, когда исследуемые объекты можно в результате сравнения расположить в определенной последовательности с учетом какого-либо существенного фактора (факторов), используются порядковые шкалы, позволяющие устанавливать равноценность или доминирование.
Предположим, что необходимо расположить в определенной последовательности n объектов по какому-либо фактору (критерию). Представим это упорядочение в виде матрицы EMBED Equation.3 где i, j = 1,2,…, n.
Величины EMBED Equation.3 устанавливают соотношения между объектами и могут быть определены следующим образом [6]:
EMBED Equation.3 EMBED Equation.3 EMBED Equation.3 EMBED Equation.3
Установим основные аксиомы, необходимые для соблюдения условий упорядочения. Соотношение EMBED Equation.3 означающее, что i предпочтительнее j, должно быть ассиметричным, т.е., если EMBED Equation.3 то EMBED Equation.3 и транзитивным, т.е., если EMBED Equation.3 EMBED Equation.3 то EMBED Equation.3
Соотношение EMBED Equation.3 означающее, что i и j равноценны, называется соотношением эквивалентности. Такое соотношение должно быть
рефлексивным, т.е. EMBED Equation.3
симметричным, т.е., если EMBED Equation.3 то EMBED Equation.3
транзитивным, т.е., если EMBED Equation.3 и EMBED Equation.3 то EMBED Equation.3
Кроме того, эти два соотношения должны быть совместимы, т.е., если EMBED Equation.3 и EMBED Equation.3 то EMBED Equation.3 а также, если EMBED Equation.3 и EMBED Equation.3 то EMBED Equation.3
И, наконец, упорядочение должно быть связным, т.е. для любых i и j или EMBED Equation.3 или EMBED Equation.3 или EMBED Equation.3
Использование порядковых шкал позволяет различать объекты и в тех случаях, когда фактор (критерий) не задан в явном виде, т.е. когда мы не знаем признака сравнения, но можем частично или полностью упорядочить объекты на основе системы предпочтений, которой обладает эксперт.
Любое множество A будем называть упорядоченным, если для любых двух его элементов X и Y установлено, что, либо X предшествует Y, либо Y предшествует X. Иногда не удается установить строгое предшествование для всех элементов множества, но можно произвести «групповое» упорядочение, когда упорядочиваются подмножества равноценных элементов. Далее можно поставить задачу сравнения и упорядочения этих подмножеств.
Использование порядковых шкал позволяет производить преобразования полученных от экспертов оценок, соответствующих всем монотонно возрастающим функциям. Так, например, положительные оценки могут либо быть заменены их квадратами, или логарифмами, или любой другой монотонно возрастающей функцией.
Для формализации оценок, полученных от экспертов, часто используют интервальные шкалы. При использовании таких шкал для этих целей можно брать почти все обычные статистические меры. Исключением являются те меры, которые предполагают знание «истинно» нулевой точки шкалы, которая вводится здесь условно.
Интервальные шкалы предполагают возможность трансформации оценок, полученных на одной шкале, в оценки на другой шкале при помощи уравнения EMBED Equation.3
Разности между значениями на шкале интервалов становятся мерами на шкале отношений, т.е. на обычной числовой шкале, т.к. в результате вычитания можно избавиться от постоянного слагаемого b.
В ряде случаев при формализации экспертных оценок используется свойство аддитивности, которое присуще только шкале отношений. Наличие аддитивности выражается следующими аксиомами [6]:
если j = a и i > 0, то i + j > a;
i + j = j + i;
если i = a и j = b, то i + j = a + b;
(i + j) + k = i + (j + k).
Обычная ситуация, когда необходимо принять решение с учетом аддитивности, заключается в том, что имеется несколько (по крайней мере, два) качественных факторов. При наличии нескольких факторов, характеризующих конкретные объекты, существует множество реальных свойств и типов связей объектов.
Так, например, факторы (показатели), характеризующие эффективность создания и внедрения новой техники, по их объективному содержанию можно подразделить на технические, экономические и социальные. С другой стороны, эти факторы можно сгруппировать в соответствии с их ролью в процессе создания и внедрения новой техники, выделив, например, показатели, характеризующие затраты, качество, экономическую эффективность и т.д.
В зависимости от характера и цели исследуемой проблемы факторы, по которым различаются объекты, могут быть количественно сравнимы или несравнимы между собой, частично сравнимы (т.е. не любой с любым, а лишь некоторые из них), упорядочены по степени их важности и т.д. Несоизмеримость различных факторов обусловлена не только необходимостью применения разных единиц измерения, но и тем, что каждый фактор, выражая определенное свойство, одновременно является оценкой отношения к данному свойству со стороны принимающего решение.
В практике управления во всех его уровнях часто возникают ситуации, когда необходимо принять решение с учетом многих факторов. Вопрос о том, какие именно факторы следует считать наиболее важными, зависит от качественных особенностей объекта решения и целей, которым должно отвечать это решение.
Например, при рассмотрении нескольких вариантов плана или вариантов организационно-технических мероприятий следует принимать во внимание факторы времени, затрат, технических и социальных результатов, экономической эффективности и т.д. Обычно все разнообразие факторов пытаются привести к однозначной комплексной оценке, причем наиболее удобной и распространенной такой оценкой является денежная.
Однако, поскольку последствия любого решения, особенно решений, связанных с научно-техническим прогрессом, выходят за рамки стоимостных показателей, необходимы измерители, характеризующие значимость, полезность того или иного фактора (или их комплекса). Такие комплексные измерители широко применяются при оценке качества продукции, технико-экономического уровня производства, при оценке результатов деятельности научных организаций и в ряде других задач. Хотя вопрос о создании достаточно обоснованной формализованной системы таких измерителей еще далек от окончательного решения, можно указать некоторые общие черты, обеспечивающие подход к формализации этого процесса и к использованию того или иного логико-математического аппарата.
В случае, когда все факторы задаются по номинальной шкале, т.е. задаются по этой шкале некоторый признак a и исходное множество элементов M, цель состоит в выборе подмножества элементов M(a), обладающих этим признаком. В таких случаях производится сравнение элементов, точнее их свойств, с признаком – эталоном, а результат – разбиение множества – можно рассматривать как упорядочение по двухэлементной шкале, по которой каждому из элементов присваивается балл, равный либо нулю, либо единице.
В случае, когда факторы заданы по порядковой шкале или по нескольким порядковым шкалам, цель состоит в упорядочении элементов исходного множества, в выявлении с помощью экспертов скрытой упорядоченности, которая, по предположению, присуща этому множеству. Необходимым условием решения этой задачи является допущение о транзитивности. Чем полнее упорядочены элементы, тем легче применить логико-математические и комбинаторные методы к решению таких задач.
В зависимости от существа или важности того или иного фактора на этапе подготовки и принятия решений могут быть использованы различные шкалы. Такие факторы, как затраты, прибыль, время, могут быть оценены по порядковой или интервальной шкале (в рублях, днях или условных единицах). Для оценки же таких факторов, как срок окупаемости или сравнительная эффективность вариантов, может быть использована интервальная шкала; качественные или социальные факторы могут оцениваться по порядковым или номинальным шкалам.










Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК
3.1. Задачи обработки
После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.
Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.
Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.
Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.
Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.
В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:
1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;
2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;
3) определение относительных весов объектов;
4) определение согласованности мнений экспертов;
5) определение зависимостей между ранжировками;
6) оценка надежности результатов обработки.
Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.
При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.
Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами — средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.
Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.
Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.
3.2. Групповая оценка объектов
В данном параграфе рассмотрим алгоритмы обработки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку n объектов по l показателям. Результаты оценки представлены в виде величин EMBED Equation.3 , где j – номер эксперта, i - номер объекта, h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины EMBED Equation.3 представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины EMBED Equation.3 представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.
Рассмотрим случай, когда величины EMBED Equation.3 получены методами непосредственной оценки или последовательного сравнения, т. е. EMBED Equation.3 являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно (воспользоваться средним значением оценки для каждого объекта [12]
EMBED Equation.3 (5.1)
где EMBED Equation.3 - коэффициенты весов показателей сравнения объектов, EMBED Equation.3 - коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объектов являются нормированными величинами [12]
EMBED Equation.3 (5.2)
Коэффициенты весов показателей могут быть определены экспертным путем. Если EMBED Equation.3 - коэффициент веса h-го показателя, даваемый j-м экспертом, то средний коэффициент веса h-го показателя по всем экспертам равен [12]
EMBED Equation.3 (5.3)
Получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на предположении о выполнении аксиом теории полезности фон Неймана-Моргенштерна как для индивидуальных, так и для групповой оценки и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето). В реальных задачах эти условия, как правило, выполняются, поэтому получение групповой оценки объектов путем суммирования с весами индивидуальных оценок экспертов широко применяется на практике.
Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.
Алгоритм вычисления коэффициентов компетентности экспертов имеет вид рекуррентной процедуры [12]:
EMBED Equation.3 (5.4)
EMBED Equation.3 (5.5)
EMBED Equation.3 (5.6)
Вычисления начинаются с t=1. В формуле (5.4) начальные значения коэффициентов компетентности принимаются одинаковыми и равными EMBED Equation.3 Тогда по формуле (5.4) групповые оценки объектов первого приближения равны средним арифметическим значениям оценок экспертов [12]
EMBED Equation.3 (5.7)
Далее вычисляется величина EMBED Equation.3 по формуле (5.5) [12]:
EMBED Equation.3 (5.8)
и значение коэффициентов компетентности первого приближения по формуле (5.6) [12]:
EMBED Equation.3 (5.9)
Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисления по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин EMBED Equation.3
Повторение рекуррентной процедуры вычислений оценок объектов и коэффициентов компетентности естественно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) переменные EMBED Equation.3 и EMBED Equation.3 и представим эти уравнения в векторной форме [12]
EMBED Equation.3 (5.10)
где матрицы В размерности EMBED Equation.3 и С размерности EMBED Equation.3 равны [12]
EMBED Equation.3 (5.11)
Величина EMBED Equation.3 в уравнениях (5.10) определяется по формуле (5.5).
Если матрицы В и С неотрицательны и неразложимы, то, как это следует из теоремы Перрона – Фробениуса, при EMBED Equation.3 векторы EMBED Equation.3 и EMBED Equation.3 - сходятся к собственным векторам матриц В и С, соответствующим максимальным собственным числам этих матриц [12]
EMBED Equation.3 (5.12)
Предельные значения векторов х и k можно вычислить из уравнений [12]:
EMBED Equation.3 (5.13)
где EMBED Equation.3 максимальные собственные числа матриц В и С.
Условие неотрицательности матриц В и С легко выполняется выбором неотрицательных элементов EMBED Equation.3 матрицы Х оценок объектов экспертами.
Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экспертов оценивает только объекты своей группы. Естественно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С, а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практических условиях выполняются.
Следует заметить, что практическое вычисление векторов групповой оценки объектов и коэффициентов компетентности проще выполнять по рекуррентным формулам (5.4), (5.5), (5.6). Определение предельных значений этих векторов по уравнению (5.13) требует применения вычислительной техники.
Рассмотрим теперь случай, когда эксперты производят оценку множества объектов методом ранжирования так, что величины EMBED Equation.3 есть ранги. Обработка результатов ранжирования заключается в построении обобщенной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжировок и метрику в этом пространстве. Каждая ранжировка множества объектов j-м экспертом есть точка EMBED Equation.3 в пространстве ранжировок.
Ранжировку EMBED Equation.3 можно представить в виде матрицы парных сравнений, элементы которой определим следующим образом [12]:
EMBED Equation.3
Очевидно, что EMBED Equation.3 , поскольку каждый объект эквивалентен самому себе. Элементы матрицы EMBED Equation.3 антисимметричны EMBED Equation.3 .
Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Такую матрицу будем обозначать EMBED Equation.3 и считать, что точка в пространстве ранжировок, соответствующая матрице EMBED Equation.3 , является началом отсчета.
Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.
Метрика EMBED Equation.3 как расстояние между i-й и j-й ранжировками определяется единственным образом формулой [12]
EMBED Equation.3
если выполнены следующие 6 аксиом [12]:
1. EMBED Equation.3 причем равенство достигается, если ранжировки EMBED Equation.3 и EMBED Equation.3 тождественны;
2. EMBED Equation.3
3. EMBED Equation.3
причем равенство достигается, если ранжировка «лежит между» ранжировками EMBED Equation.3 и EMBED Equation.3 . Понятие «лежит между» означает, что суждение о некоторой паре EMBED Equation.3 объектов в ранжировке совпадает с суждением об этой паре либо в EMBED Equation.3 , либо в EMBED Equation.3 или же в EMBED Equation.3 EMBED Equation.3 в EMBED Equation.3 EMBED Equation.3 а в EMBED Equation.3 EMBED Equation.3
4. EMBED Equation.3
где EMBED Equation.3 получается из EMBED Equation.3 некоторой перестановкой объектов, а EMBED Equation.3 из EMBED Equation.3 той же самой перестановкой. Эта аксиома утверждает независимость расстояния от перенумерации объектов.
5. Если две ранжировки EMBED Equation.3 , EMBED Equation.3 одинаковы всюду, за исключением n-элементного множества элементов, являющегося одновременно сегментом обеих ранжировок, то EMBED Equation.3 можно вычислить, как если бы рассматривалась ранжировка только этих n-объектов. Сегментом ранжировки называется множество, дополнение которого непусто и все элементы этого дополнения находятся либо впереди, либо позади каждою элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжировки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних n-объектов, то естественно принять, что расстояние между ранжировками должно равняться расстоянию, соответствующему ранжировкам средних n-объектов.
6. Минимальное расстояние равно единице.
Пространство ранжировок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой. Расстояния между точками равны EMBED Equation.3 EMBED Equation.3 При трех объектах пространство всех возможных ранжировок состоит из 13 точек.
Используя введенную метрику, определим обобщенную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласования на практике чаще всего определяют как медиану и среднюю ранжировку.
Медиана есть такая точка в пространстве ранжировок, сумма расстояний от которой до всех точек - ранжировок экспертов является минимальной. В соответствии с определением медиана вычисляется из условия
EMBED Equation.3
Средняя ранжировка есть такая точка, сумма квадратов расстояний от которой до всех точек – ранжировок экспертов является минимальной. Средняя ранжировка определяется из условия
EMBED Equation.3
Пространство ранжировок конечно и дискретно, поэтому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем случае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.
Если учитывается компетентность экспертов, то медиана и средняя ранжировка определяются из условий [12]:
EMBED Equation.3 EMBED Equation.3
где EMBED Equation.3 - коэффициенты компетентности экспертов.
Если ранжировка объектов производится по нескольким показателям, то определение медианы вначале производится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов [12]:
EMBED Equation.3 (j=1,2,…,m);
EMBED Equation.3
где EMBED Equation.3 - коэффициенты весов показателей.
Основным недостатком определения обобщенной ранжировки в виде медианы или средней ранжировки является трудоемкость расчетов. Естественный способ отыскания EMBED Equation.3 или EMBED Equation.3 в виде перебора всех точек пространства ранжировок неприемлем вследствие очень быстрого роста равномерности пространства при увеличении количества объектов и, следовательно, роста трудоемкости вычислений. Можно свести задачу отыскания EMBED Equation.3 или EMBED Equation.3 к специфической задаче целочисленного программирования. Однако это не очень эффективно уменьшает вычислительные трудности.
Расхождение обобщенных ранжировок при различных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпадать.
Сложность вычисления медианы или средней ранжировки привела к необходимости применения более простых способов построения обобщенной ранжировки.
К числу таких способов относится способ сумм рангов.
Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объектом от всех экспертов. Для матрицы ранжировок EMBED Equation.3 составляются суммы [12]
EMBED Equation.3 (i=1,2,…,n).
Далее объекты упорядочиваются по цепочке неравенств EMBED Equation.3
Для учета компетентности экспертов достаточно умножить каждую i-ю ранжировку на коэффициент компетентности j-го эксперта EMBED Equation.3 В этом случае вычисление суммы рангов для i-го объекта производится по следующей формуле [12]:
EMBED Equation.3 (i=1,2,…,n).
Обобщенная ранжировка с учетом компетентности экспертов строится на основе упорядочения сумм рангов для всех объектов.
Следует отметить, что построение обобщенной ранжировки по суммам рангов является корректной процедурой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., n. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие монотонности преобразования и, следовательно, можно получать различные обобщенные ранжировки при различных отображениях объектов на числовую систему. Нумерация мест объектов может быть произведена единственным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.
Еще одним более обоснованным в теоретическом отношении подходом к построению обобщенной ранжировки является переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора, соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора.
3.3. Оценка согласованности мнений экспертов
При ранжировании объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.
В настоящее время известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации.
Дисперсионный коэффициент конкордации. Рассмотрим матрицу результатов ранжировки n объектов группой из m экспертов EMBED Equation.3 (j=1,…,m; i=1,…,n), где EMBED Equation.3 - ранг, присваиваемый j-м экспертом i-му объекту. Составим суммы рангов по каждому столбцу. В результате получим вектор с компонентами [12]
EMBED Equation.3 (i=1,2,…,n). (5.14)
Величины EMBED Equation.3 рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой [12]:
EMBED Equation.3 , (5.15)
где EMBED Equation.3 - оценка математического ожидания, равная
EMBED Equation.3 (5.16)
Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (5.15) к максимальному значению этой оценки [12]
EMBED Equation.3 . (5.17)
Коэффициент конкордации изменяется от нуля до единицы, поскольку EMBED Equation.3 .
Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка математического ожидания зависит только от числа объектов и количества экспертов. Подставляя в (5.16) значение EMBED Equation.3 из (5.14), получаем [12]
EMBED Equation.3 (5.18)
Рассмотрим вначале суммированные по i при фиксированном j. Это есть сумма рангов для j-го эксперта. Поскольку эксперт использует для ранжировки натуральные числа от 1 до n, то, как известно, сумма натуральных чисел от 1 до n равна [12]
EMBED Equation.3 (5.19)
Подставляя (5.19) в (5.18), получаем [12]
EMBED Equation.3 EMBED Equation.3 (5.20)
Таким образом, среднее значение зависит только от числа экспертов m и числа объектов n.
Для вычисления максимального значения оценки дисперсии подставим в (5.15) значение EMBED Equation.3 из (5.14) и возведем в квадрат двучлен в круглой скобке. В результате получаем [12]
EMBED Equation.3 (5.21)
Учитывая, что из (5.18) следует
EMBED Equation.3
получаем [12]
EMBED Equation.3 (5.22)
Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скобках. Величина этого члена существенно зависит от расположения рангов - натуральных чисел в каждой строке i. Пусть, например, все m экспертов дали одинаковую ранжировку для всех n объектов. Тогда в каждой строке матрицы EMBED Equation.3 будут расположены одинаковые числа. Следовательно, суммирование рангов в каждой i-u строке дает m-кратное повторение i-ro числа [12]:
EMBED Equation.3
Возводя в квадрат и суммируя по i, получаем значение первого члена в (5.22) [12]:
EMBED Equation.3 (5.23)
Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая n=m все эксперты присваивают разные ранги одному объекту. Тогда [12]
EMBED Equation.3
Сравнивая это выражение с EMBED Equation.3 при m=n, убеждаемся, что первый член в квадратных скобках формулы (9) равен второму члену и, следовательно, оценка дисперсии равна нулю.
Таким образом, случай полного совпадения ранжировок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (5.23) в (5.22) и выполняя преобразования, получаем [12]
EMBED Equation.3 (5.24)
Введем обозначение [12]
EMBED Equation.3 (5.25)
Используя (5.25), запишем оценку дисперсии (5.15) в виде [12]
EMBED Equation.3 (5.26)
Подставляя (5.24), (5.25), (5.26) в (5.17) и сокращая на множитель (n—1), запишем окончательное выражение для коэффициента конкордации [12]
EMBED Equation.3 (5.27)
Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов.
Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе формулы (5.17) становится меньше, чем при отсутствии связанных рангов. Можно показать, что при наличии связанных рангов коэффициент конкордации вычисляется по формуле [12]:
EMBED Equation.3 (5.28)
где
EMBED Equation.3 (5.29)
В формуле (5.28) EMBED Equation.3 - показатель связанных рангов в j-й ранжировке, EMBED Equation.3 - число групп равных рангов в j-й ранжировке, EMBED Equation.3 - число равных рангов в k-й группе связанных рангов при ранжировке j-м экспертом. Если совпадающих рангов нет, то EMBED Equation.3 =0, EMBED Equation.3 =0 и, следовательно, EMBED Equation.3 =0. В этом случае формула (5.28) совпадает с формулой (5.27).
Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы. Коэффициент конкордации равен нулю, если все ранжировки различны, т. е. совершенно нет совпадения.
Коэффициент конкордации, вычисляемый по формуле (5.27) или (5.28), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для различных значений числа экспертов m и количества объектов n. Распределение частот для W при EMBED Equation.3 и EMBED Equation.3 вычислено в [52]. Для больших значений m и n можно использовать известные статистики. При числе объектов n>7 оценка значимости коэффициента конкордации может быть произведена по критерию EMBED Equation.3 . Величина Wm(n—1) имеет EMBED Equation.3 распределение с v=n –1 степенями свободы.
При наличии связанных рангов EMBED Equation.3 распределение с v=n—1 степенями свободы имеет величина [12]:
EMBED Equation.3 (5.30)
Энтропийный коэффициент конкордации определяется формулой (коэффициент согласия) [12]:
EMBED Equation.3 (5.31)
где Н – энтропия, вычисляемая по формуле
EMBED Equation.3 (5.32)
а EMBED Equation.3 - максимальное значение энтропии. В формуле для энтропии EMBED Equation.3 - оценки вероятностей j-го ранга, присваиваемого i-му объекту. Эти оценки вероятностей вычисляются в виде отношения количества экспертов EMBED Equation.3 , приписавших объекту EMBED Equation.3 ранг j к общему числу экспертов [12].
EMBED Equation.3 (5.33)
Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда EMBED Equation.3 . Тогда [12]
EMBED Equation.3 (5.34)
Подставляя это соотношение в формулу (5.32), получаем [12]
EMBED Equation.3 (5.35)
Коэффициент согласия изменяется от нуля до единицы. При EMBED Equation.3 расположение объектов по рангам равновероятно, поскольку в этом случае EMBED Equation.3 . Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупности показателей, либо полной несогласованностью мнений экспертов. При EMBED Equation.3 , что достигается при нулевой энтропии (H=0), все эксперты дают одинаковую ранжировку. Действительно, в этом случае для каждого фиксированного объекта EMBED Equation.3 все эксперты присваивают ему один и тот же ранг j, следовательно, EMBED Equation.3 , a EMBED Equation.3 EMBED Equation.3 Поэтому и H=0.
Сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают примерно одинаковую оценку согласованности экспертов при близких ранжировках. Однако если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противоположные группы. Объем вычислений для энтропийного коэффициента конкордации несколько больше, чем для дисперсионного коэффициента конкордации.
3.4. Обработка парных сравнений объектов
При решении задачи оценки большого числа объектов (ранжирование, определение относительных весов, балльная оценка) возникают трудности психологического характера, обусловленные восприятием экспертами множества свойств объектов. Эксперты сравнительно легко решают задачу парного сравнения объектов. Возникает вопрос, каким образом получить оценку всей совокупности объектов на основе результатов парного сравнения, не накладывая условия транзитивности? Рассмотрим алгоритм решения этой задачи. Пусть m экспертов производят оценку всех пар объектов, давая числовую оценку [12]
EMBED Equation.3 (5.36)
Если при оценке пары EMBED Equation.3 EMBED Equation.3 экспертов высказались в пользу предпочтения EMBED Equation.3 EMBED Equation.3 экспертов высказались наоборот EMBED Equation.3 и EMBED Equation.3 экспертов считают эти объекты равноценными, то оценка математического ожидания случайной величины EMBED Equation.3 равна [12]
EMBED Equation.3 (5.37)
Общее количество экспертов равно сумме
EMBED Equation.3 (5.38)
Определяя отсюда EMBED Equation.3 и подставляя его в (5.37), получаем [12]
EMBED Equation.3 EMBED Equation.3 (5.39)
Очевидно, что EMBED Equation.3 Совокупность величин EMBED Equation.3 образует матрицу EMBED Equation.3 на основе которой можно построить ранжировку всех объектов и определить коэффициенты относительной важности объектов.
Введем вектор коэффициентов относительной важности объектов порядка t следующей формулой [12]:
EMBED Equation.3 EMBED Equation.3 (5.40)
где EMBED Equation.3 - матрица EMBED Equation.3 математических ожиданий оценок пар объектов, EMBED Equation.3 - вектор коэффициентов относительной важности объектов порядка t. Величина EMBED Equation.3 равна [12]
EMBED Equation.3 (5.41)
Коэффициенты относительной важности первого порядка есть относительные суммы элементов строк матрицы X. Действительно, полагая t=1, из (5.40) получаем [12]
EMBED Equation.3 EMBED Equation.3 (5.42)
Коэффициенты относительной важности второго порядка (t=2} есть относительные суммы элементов строк матрицы X2 [12].
EMBED Equation.3 EMBED Equation.3 (5.43)
Если матрица Х неотрицательна и неразложима, то при увеличении порядка EMBED Equation.3 величина EMBED Equation.3 сходится к максимальному собственному числу матрицы Х [12]
EMBED Equation.3 (5.44)
а вектор коэффициентов относительной важности объектов стремится к собственному вектору матрицы X, соответствующему максимальному собственному числу EMBED Equation.3
EMBED Equation.3 EMBED Equation.3 (5.45)
Определение собственных чисел и собственных векторов матрицы производится решением алгебраического уравнения [12]
EMBED Equation.3 (5.46)
где Е—единичная матрица, и системы линейных уравнений [12]
EMBED Equation.3 EMBED Equation.3 (5.47)
где k – собственный вектор матрицы X, соответствующий максимальному собственному числу EMBED Equation.3 . Компоненты собственного вектора есть коэффициенты относительной важности объектов, измеренные в шкале отношений.
С практической точки зрения вычисление коэффициентов относительной важности объектов проще производить последовательной процедурой по формуле (5.40) при t=1, 2, … Как показывает опыт, 3-4 последовательных вычислений достаточно, чтобы получить значения EMBED Equation.3 и k, близкие к предельным значениям, определяемым уравнениями (5.46), (5.47).
Матрица EMBED Equation.3 неотрицательная, поскольку все ее элементы (5.39) неотрицательны. Матрица называется неразложимой, если перестановкой рядов (строк и одноименных столбцов) ее нельзя привести к треугольному виду [12]
EMBED Equation.3 (5.48)
где EMBED Equation.3 - неразложимые подматрицы матрицы X. Представление матрицы Х в виде (5.48) означает разбиение объектов на l доминирующих множеств [12]
EMBED Equation.3 (5.49)
При 1=n матрица Х неразложима, т. е. существует только одно доминирующее множество, совпадающее с исходным множеством объектов. Разложимость матрицы Х означает, что среди экспертов имеются большие разногласия в оценке объектов.
Если матрица Х неразложима, то вычисление коэффициентов относительной важности EMBED Equation.3 позволяет определить, во сколько раз один объект превосходит другой объект по сравниваемым показателям. Вычисление коэффициентов относительной важности объектов позволяет одновременно построить ранжировку объектов. Объекты ранжируются так, что первым объектом считается объект, у которого коэффициент относительной важности наибольший. Полная ранжировка определяется цепочкой неравенств [12]
EMBED Equation.3
из которой следует
EMBED Equation.3
Если матрица Х является разложимой, то определить коэффициенты относительной важности можно только для каждого множества EMBED Equation.3 . Для каждой матрицы EMBED Equation.3 определяется максимальное собственное число и соответствующий этому числу собственный вектор. Компоненты собственного вектора и есть коэффициенты относительной важности объектов, входящих в множество EMBED Equation.3 . По этим коэффициентам осуществляется ранжировка объектов данного множества. Общая ранжировка объектов дается соотношением [12]
EMBED Equation.3
Таким образом, если матрица Х неразложима, то по результатам парного сравнения объектов возможно как измерение предпочтительности объектов в шкале отношений, так и в шкале порядка (ранжирование). Если же матрица Х разложима, то возможно только ранжирование объектов.
Следует отметить, что отношение предпочтения EMBED Equation.3 может быть выражено любым положительным числом С. При этом должно выполняться условие EMBED Equation.3 В частности, можно выбрать С=2 так, что если EMBED Equation.3 , то EMBED Equation.3 если EMBED Equation.3 то EMBED Equation.3 и если EMBED Equation.3 , то EMBED Equation.3 .
3.5. Определение взаимосвязи ранжировок
При обработке результатов ранжирования могут возникнуть задачи определения зависимости между ранжировками двух экспертов, связи между достижением двух различных целей при решении одной и той же совокупности проблем или взаимосвязи между двумя признаками.
В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок или целей будет являться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена и Кендалла.
Коэффициент ранговой корреляции Спирмена определяется формулой [12]:
EMBED Equation.3 (5.50)
где EMBED Equation.3 - взаимный корреляционный момент первой и второй ранжировок, EMBED Equation.3 EMBED Equation.3 - дисперсии этих ранжировок. По данным двум ранжировкам оценки взаимного корреляционного момента и дисперсии вычисляются по формулам [12]:
EMBED Equation.3 (5.51)
EMBED Equation.3 EMBED Equation.3 (5.52)
где n – число ранжируемых объектов, EMBED Equation.3 EMBED Equation.3 - ранги в первой и второй ранжировках соответственно, EMBED Equation.3 EMBED Equation.3 - средние ранги в первой и второй ранжировках. Оценки средних рангов определяются формулами [12]:
EMBED Equation.3 EMBED Equation.3 (5.53)
Вычислим оценки средних рангов и дисперсий в предположении, что в ранжировках отсутствуют связанные ранги, т. е. обе ранжировки дают строгое упорядочение объектов. В этом случае средние ранги (5.53) представляют собой суммы натуральных чисел от единицы до n, поделенные на n. Следовательно, средние ранги для обеих ранжировок одинаковы и равны [12]
EMBED Equation.3 (5.54)
При вычислении оценок дисперсий заметим, что если раскрыть круглые скобки в формулах (5.52), то под знаком сумм будут находиться натуральные числа и их квадраты. Две ранжировки могут отличаться друг от друга только перестановкой рангов, но сумма натуральных чисел и их квадратов не зависит от порядка (перестановки) слагаемых. Следовательно, дисперсии (5.52) для двух любых ранжировок (при отсутствии связанных рангов) будут одинаковы и равны [12]
EMBED Equation.3
EMBED Equation.3 (i=1,2). (5.55)
Подставляя значение EMBED Equation.3 из (5.51) и EMBED Equation.3 EMBED Equation.3 из (5.55) в формулу (5.50), получим оценку коэффициента ранговой корреляции Спирмена [12]
EMBED Equation.3 (5.56)
Для проведения практических расчетов удобнее пользоваться другой формулой для коэффициента корреляции Спирмена. Ее можно получить из (5.56), если воспользоваться тождеством [12]
EMBED Equation.3 (5.57)
В равенстве (5.57) первые две суммы в правой части, как это следует из выражения (5.55), одинаковы и равны [12]
EMBED Equation.3 (5.58)
Подставляя в формулу (5.56) значение суммы из (5.57) и используя равенство (5.58), получаем следующую удобную для расчетов формулу коэффициента ранговой корреляции Спирмена [12]:
EMBED Equation.3 (5.59)
Коэффициент корреляции Спирмена изменяется от –1 до +1. Равенство единице достигается, как это следует из формулы (5.59), при одинаковых ранжировках, т. е. когда EMBED Equation.3 Значение EMBED Equation.3 имеет место при противоположных ранжировках (прямая и обратная ранжировки). При равенстве коэффициента корреляции нулю ранжировки считаются линейно независимыми.
Оценка коэффициента корреляции, вычисляемая по формуле (5.59), является случайной величиной. Для определения значимости этой оценки необходимо задаться величиной вероятности EMBED Equation.3 , принять решение о значимости коэффициента корреляции и определить значение порога EMBED Equation.3 по приближенной формуле [12]
EMBED Equation.3 (5.60)
где n – количество объектов, EMBED Equation.3 - функция, обратная функции [12]
EMBED Equation.3
для которой имеются таблицы [7]. После вычисления порогового значения оценка коэффициента корреляции считается значимой, если EMBED Equation.3 .
Для определения значимости оценки коэффициента Спирмена можно воспользоваться критерием Стьюдента, поскольку величина [12]
EMBED Equation.3 (5.61)
приближенно распределена по закону Стьюдента с n – 2 степенями свободы.
Если в ранжировках имеются связанные ранги, то коэффициент Спирмена вычисляется по следующей формуле [12]:
EMBED Equation.3 (5.62)
где EMBED Equation.3 - оценка коэффициента ранговой корреляции Спирмена, вычисляемая по формуле (5.59), а величины EMBED Equation.3 EMBED Equation.3 равны [12]
EMBED Equation.3 EMBED Equation.3 (5.63)
В этих формулах EMBED Equation.3 и EMBED Equation.3 - количество различных связанных рангов в первой и второй ранжировках соответственно.
Коэффициент ранговой корреляции Кендалла при отсутствии связанных рангов определяется формулой [12]:
EMBED Equation.3
где n – количество объектов, EMBED Equation.3 - ранги объектов, sign x – функция, равная [12]
sign EMBED Equation.3 EMBED Equation.3 EMBED Equation.3
Сравнительная оценка коэффициентов ранговой корреляции Спирмена и Кендалла показывает, что вычисление коэффициентов Спирмена производится по более простой формуле. Кроме того, коэффициент Спирмена дает более точный результат, поскольку он является оптимальной по критерию минимума средней квадрата ошибки оценкой коэффициента корреляции.
Отсюда следует, что при практических расчетах корреляционной зависимости ранжировок предпочтительнее использовать коэффициент ранговой корреляции Спирмена.