Современный этап развития теории экспертных оценок

Современный этап развития тео рии экспертных оценок На осно ве более чем двадцатилетнего опыта коми ссии "Экспертные оценки " Научного совета АН СССР по комплексной проблеме "Кибернетика " и двадцати лет работы ее научного семинара "Математические методы анализа экспертных оц енок " в настоящей главе отчета рассматриваютс я осно в ные проблемы теории и практики экспертных оценок . Современные математич еские методы экспертных оценок - это в осн овном методы статистики объектов нечисловой п рироды . Обсуждаются догмы в области экспертны х оценок и современные рекомендации , применен ие стат и стики объектов нечисловой природы в экспертных оценках , вопросы постр оения интегральных показателей качества , эффектив ности и пр ., т.е . рейтингов , а также перс пективы создания и применения гаммы современн ых методик экспертных оценок на основе по дходов и р е зультатов указанного н аучного коллектива . В целом глава дает нау чное обоснование разработке автоматизированного рабочего места МАТЭК (МАТематические методжы в ЭКспертных оценках ). Бесспорно совершенно , что для принятия обоснованных решений необходимо опира ться на опыт , знания и интуицию специалистов . После второй мировой войны в рамках теории управления (менеджмента ) стала развиваться самостоятельная дисциплина - экспертные оценки. Методы экспертных оценок - это методы организации работы со специалистами-эк спертам и и обработки мнений экспертов , выраженных в количественной и /или качественной форме с целью подготовки информации для принят ия решений ЛПР - лицами , принимающими решения. Для проведения работы по методу экспе ртных оценок создают Рабочую группу (сок ращенно РГ ), которая и организует по поручению ЛПР деятельность экспертов , объединен ных (формально или по существу ) в экспертн ую комиссию (ЭК ). Существует масса методов получения экспер тных оценок . В одних с каждым экспертом работают отдельно , он даже не з нает , кто ещ› является экспертом , а потому высказывает свое мнение независимо от авторит етов . В других экспертов собирают вместе д ля подготовки материалов для ЛПР , при этом эксперты обсуждают проблему друг с друго м , учатся друг у друга , и неверные мнен ия о тбрасываются . В одних методах число экспертов фиксировано и таково , чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения . В других - ч исло экспертов растет в процессе проведения эксперт и зы , например , при использ овании метода "снежного кома " (см ., например , [1] ). В настоящее время не существует научн о обоснованной классификации методов экспертных оценок и тем более - однозначных рекоменд аций по их применению . Вполне естественно , что снача ла в нашей стране появились публикации о простейших методах экспертных оценок (см ., например , [2-3]). Как обычно бывает , тривиальные соображения широко распространились , вошли в массовое сознание инженеров и управленцев (менеджеров ) и стали тормозом на пу т и внедрения современных резул ьтатов в области экспертных оценок , описанных , например , в работах [4-8]. По нашему мнению , наиболее продвинутые результаты в рассматривае мой области были получены в результате ра боты комиссии "Экспертные оценки " Научного сов е т а АН СССР по комплексной пр облеме "Кибернетика " в 70-90-х годах (см .[9-30] и др . публикации ). В рамках настоящей главы отчета нельз я подробно рассказать о различных методах экспертных оценок (да и нет в этьом необходимости , поскольку существуют многочислен ные публикации ). Тем не менее , выделим основные проблемы в рассматриваемой области , что можно рассматривать как экспертный а нализ состояния дел в научно-практической дис циплине "Экспертные оценки ". Основные проблемы экспертных оценок Что дол жна представит ь экспертная комиссия в результате своейработы - информацию для приняти я решения ЛПР или проект самого решения ? От ответа на этот методологический вопрос зависит организация работы экспертной комисс ии. Цель - сбор информации для ЛПР . Тогда Р абочая группа должна собрать возможно б ольше относящейся к делу информации , аргумент ов "за " и "против " определенных вариантов ре шений . Полезен метод постепенного увеличения числа экспертов , описанный в [1]. Сначала первый эксперт приводит свои соображения по рас сматрив а емому вопросу . Составленный и м материал передается второму эксперту , котор ый добавляет свои аргументы . Накопленный мате риал поступает к следующему - третьему - эксперт у ... Процедура заканчивается , когда иссякает по ток новых соображений. Отметим , что экспе рты в рассматрив аемом методе только поставляют информацию , ар гументы "за " и "против ", но не вырабатывают согласованного проекта решения . Нет никакой необходимости стремиться к тому , чтобы эк спертные мнения были согласованы между собой . Более того , наиболь ш ую пользу приносят эксперты с мышлением , отклоняющимся от массового , поскольку именно от них с ледует ожидать наиболее оригинальных аргументов. Цель - подготовка проекта решения для ЛПР Математичес кие методы в экспертных оценках применяются обычно именно дл я решения задач подготовки проекта решения . При этом зачастую некритически принимают догмы согласованности и одномерности . Эти догмы "кочуют " из одн ой публикации в другую , поэтому целесообразно их обсудить. Догма согласованности . Считается , что решение мо жет быть принято лиш ь на основе согласованных мнений экспертов . Поэтому исключают из экспертной группы тех , чье мнение отличается от мнения большинс тва . При этом отсеиваются как неквалифицирова нные лица , попавшие в состав экспертной ко миссии по недоразуме н ию или по соображениям , не имеющим отношения к их профессиональному уровню , так и наиболее ор игинальные мыслители , глубже проникшие в проб лему , чем большинство . Следовало бы выяснить их аргументы , предоставить им возможность д ля обоснования их точек зрени я . Вместо этого их мнением пренебрегают . Бывает и так , что эксперты делятся на две или более групп , имеющих единые групповые точки зрения . Так , в [1] приведен пример де ления специалистов при оценке результатов нау чно-исследовательских работ на две группы : " теоретиков ", явно предпочитающих НИР , в которых получены теоретические результаты , и "практиков ", выбирающих те НИР , которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и т е лемеханики )). Иногда заявляют , что в случае обнаруже ния двух или нескольких групп экспертов (в место одной согласованной во мнениях ) опрос не достиг цели . Это не так ! Цель дос тигнута - установлено , что единого мнения нет . И ЛПР должен это учитывать . Стремле ние обеспечить согласованность мнений экспертов любой целой может приводить к сознательн ому одностороннему подбору экспертов , игнорирован ию всех точек зрения , кроме одной , наиболе е полюбившейся Рабочей группе ( или даже "п одсказанной " ЛПР ). Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая сог ласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы , что делает дальнейшие расчеты не имеющим и отношения к действительности . Если же об ратиться к ко н кретным методам рас четов , например , с помощью коэффициентов конко рдации на основе коэффициентов ранговой корре ляции Кендалла или Спирмена [31], то необходимо помнить , что на самом деле положительный результат проверки согласованности таким спосо бом означа е т ни больше , ни мен ьше , как отклонение гипотезы о независимости и равномерной распределенности мнений экспер тов на множестве всех ранжировок . Другими словами , мы падаем жертвой заблуждений , вытека ющих из своеобразного толкования слов : провер ка согласованн о сти в указанном ст атистическом смысле вовсе не является проверк ой согласованности в смысле практики экспертн ых оценок . (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас к разработке нового математи ческого а ппарата для проверки согла сованности - непараметрических методов , основанных на люсианах [32].) С целью искусственно добиться согласованн ости стараются уменьшить влияние мнений экспе ртов-диссидентов . Жесткий способ борьбы с дисс идентами состоит в их исключ ении из состава экспертной комиссии . Отбраковка эксперт ов , как и отбраковка резко выделяющихся ре зультатов наблюдений , приводит к процедурам , и меющим плохие или неизвестные статистические свойства . Так , в [33] показана крайняя неустойчиво сть классических м етодов отбраковки выбросов по отношению к отклонениям от предпосылок модели. Мягкий способ борьбы с диссидентами с остоит в применении робастных (устойчивых ) ста тистических процедур . Простейший пример : если ответ эксперта - действительное число , то резко вы деляющееся мнение диссидента сильно влияет на среднее арифметическое ответов э кспертов и не влияет на их медиану . По этому разумно в качестве согласованного мнени я рассматривать медиану . Однако при этом и гнорируются (не достигают ЛПР ) аргументы дисси дентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации , идущей от диссидентов , а потому может принять необоснованное решение , которое приведет к отрицательным последствиям . С другой стороны , представление ЛПР всего набора мнений снимает ча сть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР. Догма одномерности. Распростран ен довольно примитивный подход так называемой "квалиметр ии "(см.,например , [34]), согласно котор ому объект всегда можно оценить одним чис лом . Оценивать человека одним числом приходил о в голову лишь на невольничьих рынках . Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквива лент е› " рыночной стоимости ". Каждый объект можно оценивать по мног им показателям качества . Например , легковой ав томобиль можно оценивать по таким показателям : · расход бензина на 100 км пути (в среднем ); · надежность (средняя стоимость ремонта за год ); · быстрот а набора скорости 100 км /час после начала движения ; · максимальная достигаемая скорость ; · длительность сохранения в салоне положительной температуры при н аружной температуре ( - 50 градусов ) при выключенном двигателе ; · вес , и т.д . Можно ли свест и оце нки по этим показателям вместе ? Определяющей является конкретная ситуация , для которой выбирается автомашина . Максимально д остигаемая скорость важна для гонщика , но , как нам представляется , не имеет большого практического значения для водителя рядовой час т ной машины . Для такого води теля важнее расход бензина и надежность . Д ля машин различных служб государственного упр авления надежность важнее , чем для частника , а расход бензина - наоборот . Для районов Крайнего Севера важна теплоизоляция салона , а для южных районов страны - нет. Таким образом , важна конкретная (узкая ) постановка задачи перед экспертами . Но такой постановки зачастую нет . А тогда "игры " по разработке обобщенного показателя качества не имеют объективного характера . В недавн ие времена они использ овались для соз дания впечатления о высоком качестве отечеств енной продукции . Ведь западные машины не м орозоустойчивые , не так ли ? Значит , подбирая нужным образом коэффициенты в линейной фун кции от показателей качества , а именно , за нижая те , по которым зап а дные машины лучше (вес и др .) и завышая те , по которым лучше отечественные (морозоустойчив ость ), можно добиться поставленной цели . Почему- то рыночные отношения не считаются с подо бными выводами . (С этим , правда , можно борот ься , выбирая другие коэффициенты - те , что вытекают из реального сравнения изде лий по конкурентоспособности ). Альтернативой единственному обобщенному пока зателю является математический аппарат типа м ногокритериальной оптимизации - множества Парето и т.д . (см ., например ,[35]). В некоторых случаях вс›-таки можно глобально сравнить объекты - например , с пом ощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проект ов . Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так , чтобы упорядочение с помощью л инейной функции воз можно точнее соответствовало глобальному упорядо чению (см ., например , [36]). Наоборот , в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффи циенты с помощью экспертов . Эта простая ид ея до сих пор не стала очевидной для отдельных сост а вителей методик п о проведению экспертных опросов и анализу их результатов . Они упорно стараются застав ить экспертов делать то , что они выполнить не в состоянии - указывать веса , с кот орыми отдельные показатели качества должны вх одить в итоговый обобщенный показател ь . Эксперты обычно могут сравнить объекты или проекты в целом , но не могут вычле нить вклад отдельных факторов . Раз организато ры опроса спрашивают , эксперты отвечают , но эти ответы не несут в себе надежной информации о реальности... Основные стадии экспертного опроса Выделяют следующие стадии проведения экспертного опроса : 1) формулировка Лицом , Принимающим Решения , цели экспертного опроса ; 2) подбор ЛПР основного состава Рабочей группы ; 3) разработка РГ и утверждение у ЛПР технического задания на проведение экс пертного опроса ; 4) разработка РГ подробного сценария пров едения сбора и анализа экспертных мнений ( оценок ), включая как конкретный вид экспертной информации ( слова , условные градации , числа , ранжировки , разбиения или иные виды объекто в нечисловой природы ) и конкретные метод ы анализа этой информации (вычисление медианы Кемени , статистический анализ люсианов и иные методы статистики объектов нечисловой пр ироды и других разделов прикладной статистики ); 5) подбор экспертов в соответствии с и х компетентностью ; 6) формирование экспертной комиссии (целесооб разно заключение договоров с экспертами об условиях их работы и ее оплаты , утвержд ение ЛПР состава экспертной комиссии ); 7) проведение сбора экспертной информации ; 8) анализ экспертной инфор мации ; 9) при наличии нескольких туров - повторен ие двух предыдущих этапов ; 10) интерпретация полученных результатов и подготовка заключения для ЛПР ; 11) официальное окончание деятельности РГ. Подбор экспертов Проблема подбора экспертов является одной из н аиболее сложных . Очевидно , в качестве эксперто в необходимо использовать тех людей , чьи с уждения наиболее помогут принятию адекватного решения . Но как выделить , найти , подобрать таких людей ? Надо прямо сказать , что нет методов подбора экспертов , наверн я ка обеспечивающих успех экспертизы . Сейча с мы не будем возвращаться к обсуждению проблемы существования различных "партий " среди экспертов (см . выше ) и обратим внимание на различные иные стороны подбора эксперто в. Часто предлагают использовать методы взаи м ооценки и самооценки компетентности эксп ертов . С одной стороны , кто лучше может знать возможности эксперта , чем он сам ? С другой стороны , при самооценке компетентнос ти скорее оценивается степень самоуверенности эксперта , чем его реальная компетентность . Т е м более , что само понятие "ком петентность " строго не определено . Можно его уточнять , выделяя составляющие , но при этом усложняется предварительная часть деятельности экспертной комиссии. При использовании метода взаимооценки , по мимо возможности проявления личностных и групповых симпатий и антипатий , играет роль неосведомленность экспертов о возможностях д руг друга . В современных условиях достаточно хорошее знакомство с работами и возможно стями друг друга может быть лишь у сп ециалистов , много лет работающих совме стно . Однако привлечение таких пар специалист ов не очень-то целесообразно , поскольку они слишком похожи друг на друга. Использование формальных показателей (должнос ть , ученые степень и звание , стаж , число публикаций ...), очевидно , может носить вспомог ательный характер . Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора , врача , судьи в спо ртивных соревнованиях , т.е . таких экспертов , кот орые участвуют в длинных сериях однотипных экспертиз . Однако , увы , наиболее и н тересны и важны уникальные экспертизы больших проектов , не имеющих аналогов. В случае , если процедура экспертного о проса предполагает совместную работу экспертов , большое значение имеют их личностные качес тва . Один "говорун " может парализовать деятельн ость всей комиссии . В подобных случаях важно соблюдение регламента работы , разработанн ого РГ. Есть полезный метод "снежного кома " [1], п ри котором от каждого специалиста , привлекаем ого в качестве эксперта , получают несколько фамилий тех , кто может быть эксперт ом по рассматриваемой тематике . Очевидно , неко торые из этих фамилий встречались ранее в деятельности РГ , а некоторые - новые . Проце сс расширения списка останавливается , когда н овые фамилии перестают встречаться . В результ ате получается достаточно обширный сп исок возможных экспертов . Ясно , что если н а первом этапе все эксперты были из о дного "клана ", то и метод "снежного кома " даст , скорее всего , лиц из этого "клана ", мнения и аргументы других "кланов " будут упущены. Необходимо подчеркнуть , что подбор экспер тов в конечном счете - функция Рабочей группы , и никакие методики подбора не снимают с нее ответственности . Другими слов ами , именно на Рабочей группе лежит ответс твенность за компетентность экспертов , за их принципиальную способность решить поставленную з а дачу. Математиче ские модели поведения экспертов Теория и практика экспертных оценок весьма математиз ированы. Можно выделить две взаимосвязанные ветви - математические модели поведения экспертов и математико-статистические методы анализа эксперт ных оценок. Модели поведения экспертов обычно основан ы на предположении , что эксперты оценивают интересующий ЛПР параметр (например , ранжировку образцов изделий по конкурентоспособности ) с некоторыми ошибками , т.е . эксперта рассматрива ют как особого рода прибор с при с ущими ему метрологическими характеристиками . Оцен ки группы экспертов рассматривают как совокуп ность независимых одинаково распределенных случа йных величин со значениями в соответствующем пространстве объектов числовой или нечислово й природы . Обычно предп о лагается , что эксперт чаще выбирает правильное решение (т.е . адекватное реальности ), чем неправильное . В математических моделях это выражается в том , что плотность распределения случайной величины - ответа эксперта монотонно убывает с увеличением расстоян и я от центра распределения - истинного значения параметр а . Различные варианты моделей поведения экспе ртов описаны и изучены в [9,12,18, 26,27,37,38] и других публикациях. На математических моделях поведения экспе ртов основаны методы планирования экспертного опроса , сбора и анализа ответов экс пертов . Очевидно , чем больше предположений зал ожено в модель , тем больше выводов можно сделать на основе экспертных оценок , расс матриваемых как статистические данные - и тем менее обоснованными являются эти выводы , если нет оснований для принятия ис пользуемой модели . Рассмотрим триаду моделей поведения экспертов : Параметрич еская модель - непараметрическая модель - модель анализа данных. Параметриче ским моделям соответствуют наиболее сильные п редположения , проверить которы е обычно не удается . Так , следует обратить внимание н а то , что обычно невозможно обосновать нор мальность распределения ответов экспертов . Причин ы отсутствия нормальности в реальных данных , частным случаем которых являются экспертные оценки , подробно рассм о трены в [39]. Дополнительным фактором является ограниченность числа экспертов - обычно не более 10 - 30, что делает невозможным надежную проверку нормально сти даже с помощью такого эффективного по отношению к обычно встречающимся альтернатив ам критерия , к а к критерий Шапиро-У илка. В начале семидесятых годов был провед ен обширный эксперимент (на стыке с психоф изиологией ) по изучению поведения экспертов . К аждому из них было предъявлено пять образ цов . Эксперты рассматривались как "приборы ", кот орые сравнивали о бразцы по весу . Оказа лось , что ответы экспертов одинаково хорошо соответствуют как модели Терстоуна , так и модели Бредли-Терри-Льюса [9]. А ведь эти модел и принципиально различны , выводы на их осн ове существенно отличаются ! На наш взгляд , сказанного достат оч но , чтобы относиться с сомнением к обоснов анности применения параметрических моделей экспе ртных оценок. Непараметрические модели экспертных оценок опираются лишь на предположения общего хар актера о возможности вероятностно-статистического описания поведе ния экспертов с помощью непрерывных функций распрекделения или люсиа нов , параметрами для которых служат нечеткие множества - вектор вероятностей ответов "да ". Поэтому во многих ситуациях такие модели представляются адекватными. Под моделями анализа данных понимае м здесь модели , не использующие вероятностные соображения . Очевидно , они наиболее адекватны и защищены от критики , поскольку не п ретендуют на выход на пределы имеющихся д анных , не предполагают построения и обоснован ия какой-либо вероятностно-статис т ической модели реального явления или процесса . Од нако с их помощью , очевидно , нельзя сделат ь никаких заключений о будущих аналогичных ситуациях . А ведь экспертные опросы проводя тся ради обоснования поведения в будущем ! Другими словами , методы и модели ана л иза данных - наиболее обоснованные и н аиболее бесполезные. Итак , без вероятностных моделей не обо йтись . Поскольку параметрические модели обычно невозможно обосновать , остается использовать не параметрические. Математиче ские методы анализа экспертных оценок При ана лизе мнений экспертов можно применять самые разнообразные статистические методы , описывать их - значит описывать всю прикладную статист ику (по нашей оценке , к прикладной статист ике относится не менее 1 000 000 статей и книг , а из них не менее 100 00 0 являются а ктуальными в настоящее время ). В этом утве рждении нет ничего нового : поскольку одно из научных направлений желает рассматривать э ксперта как прибор , измеряющий интересующий Л ПР параметр - номер лучшего по конкурентоспосо бности изделия , ранжиро в ку проектов и т.д . - то и экспертные оценки оно со поставляет с результатами измерений - традиционным видом данных , обрабатываемых с помощью ме тодов прикладной статистики. Тем не менее можно выделить основные широко используемые в настоящее время ме тоды мат ематической обработки экспертных оценок - это проверка согласованности мнений э кспертов (или классификация экспертов , если не т согласованности ) и усреднение мнений экспер тов внутри согласованной группы. Поскольку ответы экспертов во многих процедурах экспе ртного опроса - не числа , а такие объекты нечисловой природы , как градации качественных признаков , ранжировки , ра збиения , результаты парных сравнений , нечеткие предпочтения и т.д ., то для их анализа оказываются полезными методы статистики объект ов нечисло в ой природы (см ., наприме р , [18,22,23,38,40-42]). Почему ответы экспертов носят нечисловой характер ? Наиболее общий ответ состоит в том , что люди не мыслят числами . В мышлении человека используются образы , слова , но не числа . Поэтому требовать от экспе рта о твета в форме числа - значит н асиловать его разум . Даже в экономике пред приниматели , принимая решения , лишь частично о пираются на численные расчеты . Это видно и з условного (т.е.определяемого произвольно принятым и соглашениями ) характера балансовой прибыли, амортизационных отчислений и других эк ономических показателей [43]. Поэтому фраза типа " фирма стремится к максимизации прибыли " не может иметь строго определенного смысла . До статочно спросить : "Максимизация прибыли - за ка кой период ?" Эксперт может сравни ть два объект а , дать им оценки типа "хороший ", "приемлемый ", "плохой ", упорядочить несколько объектов по привлекательности , но обычно не может сказа ть , во сколько раз или на сколько один объект лучше другого . Другими словами , от веты эксперта обычно измере н ы в порядковой шкале , являются ранжировками , резуль татами парных сравнений и другими объектами нечисловой природы , но не числами . Распро страненное заблуждение состоит в том , что ответы экспертов стараются рассматривать как числа , занимаются "оцифровкой " и х мне ний , приписывая этим мнениям численные значен ия - баллы , которые потом обрабатывают с по мощью методов прикладной статистики как резул ьтаты обычных физических измерений . В случае произвольности оцифровки выводы , полученные в результате обработки данных, могут не иметь отношения к реальности . В [22,38] это утверждение продемонстрировано на примере неад екватного данным усреднения отношения школьников к профессиям : десяти градациям были произ вольно приписаны баллы 1,2,3,...,10. Столь же естествен но было бы использовать баллы 1,4,9,...,100 или (-50),(-30),(-5),..., 17, т.е . произвольные десять числовых зн ачений , расположенных в порядке возрастания . С позиций репрезентативной теории измерений [22,23] следует применять алгоритмы анализа данных , р езультаты рабо т ы которых не меняю тся при допустимом преобразовании шкалы. Настоящая глава раздела отчета соответств ует другой парадигме по сравнению с многи ми публикациями по вопросам статистики объект ов нечисловой природы , например , статьями [40-42]. Зд есь мы рассматрив аем конкретную научно-пр актическую дисциплину , в которой постоянно ис пользуются методы статистического анализа нечисл овых данных , в то время как работы [40-42] п освящены одному из разделов прикладной матема тической статистики . Другими словами , настоящая г л ава раздела отчета написана с позиций специалиста по экспертным оценкам , а статьи [40-42] - с позиций специалста по статистическим методам. Сначала мы развивали тематику экспертных оценок , изучая возможность использования в этой области методов репрезентат ивной теории измерений [44,45], нечетких множеств [46,47], аксиомати ческого введения метрик [22,48] и т.д . Разработанные подходы , методы , результаты рассматривались к ак часть математической теории экспертного оц енивания . Соответствующие статьи [49-55] пуб л иковались в сборниках по экспертным о ценкам и были написаны на языке экспертны х оценок . И лишь затем , после десятилетней работы , было осознано , что разработана но вая область прикладной математической статистики , которая может применяться не только в экспе р тных оценках , но и в технических науках , медицине , социально-экономических исследованиях , практически во всех напрвлени ях научных и практических исследований . С другой стороны , для конкретной работы в об ласти экспертных оценок , возможно , более полез ны пра к тические рекомендации [1] , чем упомянутые математические результаты и содержа щие их публикации . Однако сейчас пришло вр емя вернуться к прежней парадигме , разработан ный математический аппарат статистики объектов нечисловой природы использовать для решения конкретных задач практики экспертных исследований. Тесная связь между экспертными оценками и статистикой объектов нечисловой природы позволяет опустить здесь описание математическ ого аппарата экспертных оценок , отослав читат еля к обзорам [40-42]. В настоящ ей главе раздела отчета мы ограничиваемся обсуждением вопросов использования этого аппарата (см . т акже предыдущую главу ). Проверка согласованности и классификация экспертов Статистичес кие методы проверки согласованности зависят о т математической природы о тветов эксперто в . Соответствующие статистические теории весьма трудны , если эти ответы - ранжировки или разбиения , и достаточно просты , если ответы - результаты парных сравнений . Отсюда вытекает рекомендация по организации экспертного опроса : не старайтес ь получить от эксп ерта ранжировку или разбиение , ему трудно это сделать , да и имеющиеся математические методы не позволяют далеко продвинуться . Эк сперту гораздо легче на каждом шагу сравн ивать только два объекта . Пусть он занимае тся парными сравнениями . Не п араметрич еская теория парных сравнений (теория люсиано в ) (основные результаты теории люсианов описан ы в работах [32,53]) позволяет решать более слож ные задачи , чем статистика ранжировок или разбиений . В частности , вместо гипотезы равном ерного распределени я можно рассматриват ь гипотезу однородности , т.е . вместо совпадения всех распределений с одним фиксированным (равномерным ) можно проверять лишь совпадение распределений мнений экспертов между собой , что естественно трактовать как согласованность их мнений. Таким образом , удается избавиться от неестественного предположения равномерности. При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению . Это можно сделать методами клас тер-анализа , предварительно введя метрику в пр остр анство мнений экспертов . Идея Кемени [37] об аксиоматическом введении метрик нашла в СССР многочисленных продолжателей [18,22,48]. Однако методы кластер-анализа обычно являются эврис тическими , в частности , невозможно с позиций статистической теории обосно в ать "з аконность " объединения двух кластеров в один [56]. Имеется важное исключение - для независимых парных сравнений (люсианов ) разработаны метод ы , позволяющие проверять возможность объединения кластеров как статистическую гипотезу [32,53]. Это - еще оди н аргумент за то , чт обы рассматривать теорию люсианов как ядро математических методов экспертных оценок. Нахождение итогового мнения комиссии экспертов Пусть м нения комиссии экспертов или какой-то ее ч асти признаны согласованными . Каково же итого вое (средне е , общее ) мнение комиссии ? Со гласно идее Кемени , описанной в монографии [37], следует найти среднее мнение как решение оптимизационной задачи - минимизировать суммарное расстояние от кандидата в средние до мнений экспертов . В [26] так найденное среднее мн е ние названо "медианой Кемени ". Математическая сложность состоит в том , что мнения экспертов лежат в некотором пространстве объектов нечисловой природы . Общая теория подобного усреднения построена в работах [22,40,54], в частности , показано , что в си лу сфор мулированного и доказанного А.И.Орл овым обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чь и мнения независимы и одинаково распределены ) приближается к некоторому пределу , который естественно назвать математическим ожиданием ( с лучайного элемента , имеющего то ж е распределение , что и ответы экспертов ). В конкретных пространствах нечисловых мне ний экспертов вычисление медианы Кемени может быть достаточно сложным делом [21]. Кроме св ойств пространства , велика роль конкретных ме трик. Так , в пространстве ранжировок при использовании метрики [37], связанной с коэффици ентом ранговой корреляции Кендалла , необходимо проводить достаточно сложные расчеты [21], в то время как применение метрики на основе коэффициента ранговой корреляции Спир м ена приводит к упорядочению по средни м рангам , т.е . вычисляется элементарно [28]. Интервальн ые экспертные оценки С начал а 80-х годов активно развивается интервальная математика [57], как наиболее практически важная часть е› - интервальная статистика (обзо р дан , например , в [58]). В разрабатываемом нами подходе основное внимание уделяется расчетам максимально возможного отклонения значения р ассматриваемой статистики , вызванного погрешностями в исходных данных (т.н.нотны ), и "рационального объема выборки ", п ревышение которого не может привести к существенному повыше нию точности оценивания . Основные идеи и р езультаты статистики интервальных данных опублик ованы в статьях [59-63]. Перспективным является использование интерва льных экспертных оценок : эксперт назыв ает не число , а интервал в качестве оценк и рассматриваемого параметра . Такие процедуры удачно сочетают в себе количественный и к ачественный подходы в экспертных оценках . В качестве примера можно назвать процедуру р егрессионного анализа , применяемую в эксп е ртно-статистическом методе для получения коэффициентов весомости признаков , позволяющих на иболее точно восстановить глобальное заключение об объекте по результатам оценок отдельн ых параметров [36]. Теория регрессионного анализа интервальных данных развита в [63]. Интерв альность необходимо учитывать , если результаты оценок параметров экспертами , как и глобаль ные оценки , задаются интервалами , а не чис лами . Интервальные экспертные оценки - новое пе рспективное направление в области экспертных оценок , которое то л ько начинает ра звиваться. При использовании метода интервальных экс пертных оценок вместо оценивания показателя и ли характеристики объекта числом эксперт указ ывает интервал , в котором он (или она ) содержится . Во многих случаях оценивание инте рвалом более ес тественно для эксперта , чем оценивание числом . Например , капитану р ыболовецкого сейнера естественнее указать квадра т морской поверхности (т.е . интервал по каж дой координате ), в котором вероятность хорошег о улова , по его мнению , максимальна , чем указать то ч ные координаты точки максимального улова . Интервальные экспертные оц енки успешно использовались с целью увеличени я улова сельди-иваси в Охотском море и атлантической сельди в Баренцевом море , соо тветствуюшая система поддержки принятия решений была разрабо т ана в Институте автоматики Дальневосточного отделения АН СССР [64]. Другой пример связан с оцениванием ка чества продукции . Оценку показателя , да и глобальную оценку эксперту естественнее дать не в виде действительного числа , а в в иде значения качественного признака - "отличн о ", "хорошо ", "удовлетворительно " и т.д . При фор мализации каждый такой ответ целесообразно оп исывать интервалом . Например , оценка "отлично " о писывается интервалом (0,8; 1,0), оценка "удовлетворительно " - интервалом (0,4; 0,6) и т.д . Это т подход можно сопоставить с использованием нечетких чисел в качестве ответов экспертов , поско льку интервалы - частные случаи нечетких множе ств [22, 23]. Выводы В насто ящее время все шире применяются различные методы экспертных оценок . Они незаменимы пр и р ешении сложных задач оценивания и выбора технических объектов , в том числе специального назначения , при анализе и пр огнозировании ситуаций с большим числом значи мых факторов - всюду , когда необходимо привлече ние знаний , интуиции и опыта многих высоко квали ф ицированных специалистов-экспертов. Проведение экспертных исследований основано на использовании современных методов приклад ной математической статистики , прежде всего с татистики объектов нечисловой природы , и совр еменной компьютерной техники . Наиболее про двинутые результаты в области экспертных оценок получены в СССР в 70-90-х годах в рамках комиссии "Экспертные оценки и нечисловая статистика " Научного Совета АН ССС Р по комплексной проблеме "Кибернетика ". В области компьютерной техники наиболее перспектив н ыми представляются разработки фирмы "Apple". Поэтому целесообразно разработать предназнач енный для поддержки проведения экспертных исс ледований АРМ "МАТЭК " ("Математика в экспертизе ") на базе РС фирмы "Apple" с использованием современных достижений в облас ти теории и практики экспертных оценок , в области прикладной математической статистики , прежде всего статистики объектов нечисловой природы. Литература 1. Орлов А.И . Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателе й качес тва . - В сб ."Многомерный статисти ческий анализ в социально-экономических исследова ниях ", М .: Наука , 1974, с .388-393. 1. Панкова Л.А ., Петровский А.М ., Шнейдерман М.В . Организация экспертиз и анализ экспе ртной информации . - М .:Наука , 1984. - 120 с. 2. Бешел ев С.Д ., Гурвич Ф.Г . Экспертн ые оценки . - М .: Наука , 1973. - 79 с. 3. Райхман Э.П ., Азгальдов Г.Г . Экспертные методы в оценке качества товаров . - М .: Эк ономика , 1974. - 151 с. 4. Бурков В.Н . Большие системы : моделирован ие организационных механизмов . - М .: Наука , 1989. - 354 с. 5. Китаев Н.Н . Групповые экспертные оценки . - М .: Знание , 1975. - 64 с. 6. Ларичев О.И . Объективные модели и с убъективные решения . - М .: Наука , 1987. - 143 с. 7. Моисеев Н.Н . Неформальные процедуры и автоматизация проектирования . - М. : Знание , 1979. - 64 с. 8. Моисеев Н.Н . Математические задачи сист емного анализа . - М .: Наука , 1981. - 487 с. 9. Статистические методы анализа экспертных оценок . - М .: Наука , 1977. - 384 с. 10. Экспертные оценки /Вопросы кибернетики . - Вып .58. - М .: Научный совет АН СССР по комплексной проблеме "Кибернетика ", 1979. - 200 с. 11. Экспертные оценки в системных исследо ваниях /Сборник трудов . - Вып .4. - М .: ВНИИСИ , 1979. - 120 с.