Реферат: Современный этап развития теории экспертных оценок - текст реферата. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Реферат

Современный этап развития теории экспертных оценок

Банк рефератов / Социология

Рубрики  Рубрики реферат банка

закрыть
Категория: Реферат
Язык реферата: Русский
Дата добавления:   
 
Скачать
Microsoft Word, 248 kb, скачать бесплатно
Заказать
Узнать стоимость написания уникального реферата

Узнайте стоимость написания уникальной работы

Современный этап развития тео рии экспертных оценок На осно ве более чем двадцатилетнего опыта коми ссии "Экспертные оценки " Научного совета АН СССР по комплексной проблеме "Кибернетика " и двадцати лет работы ее научного семинара "Математические методы анализа экспертных оц енок " в настоящей главе отчета рассматриваютс я осно в ные проблемы теории и практики экспертных оценок . Современные математич еские методы экспертных оценок - это в осн овном методы статистики объектов нечисловой п рироды . Обсуждаются догмы в области экспертны х оценок и современные рекомендации , применен ие стат и стики объектов нечисловой природы в экспертных оценках , вопросы постр оения интегральных показателей качества , эффектив ности и пр ., т.е . рейтингов , а также перс пективы создания и применения гаммы современн ых методик экспертных оценок на основе по дходов и р е зультатов указанного н аучного коллектива . В целом глава дает нау чное обоснование разработке автоматизированного рабочего места МАТЭК (МАТематические методжы в ЭКспертных оценках ). Бесспорно совершенно , что для принятия обоснованных решений необходимо опира ться на опыт , знания и интуицию специалистов . После второй мировой войны в рамках теории управления (менеджмента ) стала развиваться самостоятельная дисциплина - экспертные оценки. Методы экспертных оценок - это методы организации работы со специалистами-эк спертам и и обработки мнений экспертов , выраженных в количественной и /или качественной форме с целью подготовки информации для принят ия решений ЛПР - лицами , принимающими решения. Для проведения работы по методу экспе ртных оценок создают Рабочую группу (сок ращенно РГ ), которая и организует по поручению ЛПР деятельность экспертов , объединен ных (формально или по существу ) в экспертн ую комиссию (ЭК ). Существует масса методов получения экспер тных оценок . В одних с каждым экспертом работают отдельно , он даже не з нает , кто ещ› является экспертом , а потому высказывает свое мнение независимо от авторит етов . В других экспертов собирают вместе д ля подготовки материалов для ЛПР , при этом эксперты обсуждают проблему друг с друго м , учатся друг у друга , и неверные мнен ия о тбрасываются . В одних методах число экспертов фиксировано и таково , чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения . В других - ч исло экспертов растет в процессе проведения эксперт и зы , например , при использ овании метода "снежного кома " (см ., например , [1] ). В настоящее время не существует научн о обоснованной классификации методов экспертных оценок и тем более - однозначных рекоменд аций по их применению . Вполне естественно , что снача ла в нашей стране появились публикации о простейших методах экспертных оценок (см ., например , [2-3]). Как обычно бывает , тривиальные соображения широко распространились , вошли в массовое сознание инженеров и управленцев (менеджеров ) и стали тормозом на пу т и внедрения современных резул ьтатов в области экспертных оценок , описанных , например , в работах [4-8]. По нашему мнению , наиболее продвинутые результаты в рассматривае мой области были получены в результате ра боты комиссии "Экспертные оценки " Научного сов е т а АН СССР по комплексной пр облеме "Кибернетика " в 70-90-х годах (см .[9-30] и др . публикации ). В рамках настоящей главы отчета нельз я подробно рассказать о различных методах экспертных оценок (да и нет в этьом необходимости , поскольку существуют многочислен ные публикации ). Тем не менее , выделим основные проблемы в рассматриваемой области , что можно рассматривать как экспертный а нализ состояния дел в научно-практической дис циплине "Экспертные оценки ". Основные проблемы экспертных оценок Что дол жна представит ь экспертная комиссия в результате своейработы - информацию для приняти я решения ЛПР или проект самого решения ? От ответа на этот методологический вопрос зависит организация работы экспертной комисс ии. Цель - сбор информации для ЛПР . Тогда Р абочая группа должна собрать возможно б ольше относящейся к делу информации , аргумент ов "за " и "против " определенных вариантов ре шений . Полезен метод постепенного увеличения числа экспертов , описанный в [1]. Сначала первый эксперт приводит свои соображения по рас сматрив а емому вопросу . Составленный и м материал передается второму эксперту , котор ый добавляет свои аргументы . Накопленный мате риал поступает к следующему - третьему - эксперт у ... Процедура заканчивается , когда иссякает по ток новых соображений. Отметим , что экспе рты в рассматрив аемом методе только поставляют информацию , ар гументы "за " и "против ", но не вырабатывают согласованного проекта решения . Нет никакой необходимости стремиться к тому , чтобы эк спертные мнения были согласованы между собой . Более того , наиболь ш ую пользу приносят эксперты с мышлением , отклоняющимся от массового , поскольку именно от них с ледует ожидать наиболее оригинальных аргументов. Цель - подготовка проекта решения для ЛПР Математичес кие методы в экспертных оценках применяются обычно именно дл я решения задач подготовки проекта решения . При этом зачастую некритически принимают догмы согласованности и одномерности . Эти догмы "кочуют " из одн ой публикации в другую , поэтому целесообразно их обсудить. Догма согласованности . Считается , что решение мо жет быть принято лиш ь на основе согласованных мнений экспертов . Поэтому исключают из экспертной группы тех , чье мнение отличается от мнения большинс тва . При этом отсеиваются как неквалифицирова нные лица , попавшие в состав экспертной ко миссии по недоразуме н ию или по соображениям , не имеющим отношения к их профессиональному уровню , так и наиболее ор игинальные мыслители , глубже проникшие в проб лему , чем большинство . Следовало бы выяснить их аргументы , предоставить им возможность д ля обоснования их точек зрени я . Вместо этого их мнением пренебрегают . Бывает и так , что эксперты делятся на две или более групп , имеющих единые групповые точки зрения . Так , в [1] приведен пример де ления специалистов при оценке результатов нау чно-исследовательских работ на две группы : " теоретиков ", явно предпочитающих НИР , в которых получены теоретические результаты , и "практиков ", выбирающих те НИР , которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и т е лемеханики )). Иногда заявляют , что в случае обнаруже ния двух или нескольких групп экспертов (в место одной согласованной во мнениях ) опрос не достиг цели . Это не так ! Цель дос тигнута - установлено , что единого мнения нет . И ЛПР должен это учитывать . Стремле ние обеспечить согласованность мнений экспертов любой целой может приводить к сознательн ому одностороннему подбору экспертов , игнорирован ию всех точек зрения , кроме одной , наиболе е полюбившейся Рабочей группе ( или даже "п одсказанной " ЛПР ). Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая сог ласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы , что делает дальнейшие расчеты не имеющим и отношения к действительности . Если же об ратиться к ко н кретным методам рас четов , например , с помощью коэффициентов конко рдации на основе коэффициентов ранговой корре ляции Кендалла или Спирмена [31], то необходимо помнить , что на самом деле положительный результат проверки согласованности таким спосо бом означа е т ни больше , ни мен ьше , как отклонение гипотезы о независимости и равномерной распределенности мнений экспер тов на множестве всех ранжировок . Другими словами , мы падаем жертвой заблуждений , вытека ющих из своеобразного толкования слов : провер ка согласованн о сти в указанном ст атистическом смысле вовсе не является проверк ой согласованности в смысле практики экспертн ых оценок . (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас к разработке нового математи ческого а ппарата для проверки согла сованности - непараметрических методов , основанных на люсианах [32].) С целью искусственно добиться согласованн ости стараются уменьшить влияние мнений экспе ртов-диссидентов . Жесткий способ борьбы с дисс идентами состоит в их исключ ении из состава экспертной комиссии . Отбраковка эксперт ов , как и отбраковка резко выделяющихся ре зультатов наблюдений , приводит к процедурам , и меющим плохие или неизвестные статистические свойства . Так , в [33] показана крайняя неустойчиво сть классических м етодов отбраковки выбросов по отношению к отклонениям от предпосылок модели. Мягкий способ борьбы с диссидентами с остоит в применении робастных (устойчивых ) ста тистических процедур . Простейший пример : если ответ эксперта - действительное число , то резко вы деляющееся мнение диссидента сильно влияет на среднее арифметическое ответов э кспертов и не влияет на их медиану . По этому разумно в качестве согласованного мнени я рассматривать медиану . Однако при этом и гнорируются (не достигают ЛПР ) аргументы дисси дентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации , идущей от диссидентов , а потому может принять необоснованное решение , которое приведет к отрицательным последствиям . С другой стороны , представление ЛПР всего набора мнений снимает ча сть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР. Догма одномерности. Распростран ен довольно примитивный подход так называемой "квалиметр ии "(см.,например , [34]), согласно котор ому объект всегда можно оценить одним чис лом . Оценивать человека одним числом приходил о в голову лишь на невольничьих рынках . Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквива лент е› " рыночной стоимости ". Каждый объект можно оценивать по мног им показателям качества . Например , легковой ав томобиль можно оценивать по таким показателям : · расход бензина на 100 км пути (в среднем ); · надежность (средняя стоимость ремонта за год ); · быстрот а набора скорости 100 км /час после начала движения ; · максимальная достигаемая скорость ; · длительность сохранения в салоне положительной температуры при н аружной температуре ( - 50 градусов ) при выключенном двигателе ; · вес , и т.д . Можно ли свест и оце нки по этим показателям вместе ? Определяющей является конкретная ситуация , для которой выбирается автомашина . Максимально д остигаемая скорость важна для гонщика , но , как нам представляется , не имеет большого практического значения для водителя рядовой час т ной машины . Для такого води теля важнее расход бензина и надежность . Д ля машин различных служб государственного упр авления надежность важнее , чем для частника , а расход бензина - наоборот . Для районов Крайнего Севера важна теплоизоляция салона , а для южных районов страны - нет. Таким образом , важна конкретная (узкая ) постановка задачи перед экспертами . Но такой постановки зачастую нет . А тогда "игры " по разработке обобщенного показателя качества не имеют объективного характера . В недавн ие времена они использ овались для соз дания впечатления о высоком качестве отечеств енной продукции . Ведь западные машины не м орозоустойчивые , не так ли ? Значит , подбирая нужным образом коэффициенты в линейной фун кции от показателей качества , а именно , за нижая те , по которым зап а дные машины лучше (вес и др .) и завышая те , по которым лучше отечественные (морозоустойчив ость ), можно добиться поставленной цели . Почему- то рыночные отношения не считаются с подо бными выводами . (С этим , правда , можно борот ься , выбирая другие коэффициенты - те , что вытекают из реального сравнения изде лий по конкурентоспособности ). Альтернативой единственному обобщенному пока зателю является математический аппарат типа м ногокритериальной оптимизации - множества Парето и т.д . (см ., например ,[35]). В некоторых случаях вс›-таки можно глобально сравнить объекты - например , с пом ощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проект ов . Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так , чтобы упорядочение с помощью л инейной функции воз можно точнее соответствовало глобальному упорядо чению (см ., например , [36]). Наоборот , в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффи циенты с помощью экспертов . Эта простая ид ея до сих пор не стала очевидной для отдельных сост а вителей методик п о проведению экспертных опросов и анализу их результатов . Они упорно стараются застав ить экспертов делать то , что они выполнить не в состоянии - указывать веса , с кот орыми отдельные показатели качества должны вх одить в итоговый обобщенный показател ь . Эксперты обычно могут сравнить объекты или проекты в целом , но не могут вычле нить вклад отдельных факторов . Раз организато ры опроса спрашивают , эксперты отвечают , но эти ответы не несут в себе надежной информации о реальности... Основные стадии экспертного опроса Выделяют следующие стадии проведения экспертного опроса : 1) формулировка Лицом , Принимающим Решения , цели экспертного опроса ; 2) подбор ЛПР основного состава Рабочей группы ; 3) разработка РГ и утверждение у ЛПР технического задания на проведение экс пертного опроса ; 4) разработка РГ подробного сценария пров едения сбора и анализа экспертных мнений ( оценок ), включая как конкретный вид экспертной информации ( слова , условные градации , числа , ранжировки , разбиения или иные виды объекто в нечисловой природы ) и конкретные метод ы анализа этой информации (вычисление медианы Кемени , статистический анализ люсианов и иные методы статистики объектов нечисловой пр ироды и других разделов прикладной статистики ); 5) подбор экспертов в соответствии с и х компетентностью ; 6) формирование экспертной комиссии (целесооб разно заключение договоров с экспертами об условиях их работы и ее оплаты , утвержд ение ЛПР состава экспертной комиссии ); 7) проведение сбора экспертной информации ; 8) анализ экспертной инфор мации ; 9) при наличии нескольких туров - повторен ие двух предыдущих этапов ; 10) интерпретация полученных результатов и подготовка заключения для ЛПР ; 11) официальное окончание деятельности РГ. Подбор экспертов Проблема подбора экспертов является одной из н аиболее сложных . Очевидно , в качестве эксперто в необходимо использовать тех людей , чьи с уждения наиболее помогут принятию адекватного решения . Но как выделить , найти , подобрать таких людей ? Надо прямо сказать , что нет методов подбора экспертов , наверн я ка обеспечивающих успех экспертизы . Сейча с мы не будем возвращаться к обсуждению проблемы существования различных "партий " среди экспертов (см . выше ) и обратим внимание на различные иные стороны подбора эксперто в. Часто предлагают использовать методы взаи м ооценки и самооценки компетентности эксп ертов . С одной стороны , кто лучше может знать возможности эксперта , чем он сам ? С другой стороны , при самооценке компетентнос ти скорее оценивается степень самоуверенности эксперта , чем его реальная компетентность . Т е м более , что само понятие "ком петентность " строго не определено . Можно его уточнять , выделяя составляющие , но при этом усложняется предварительная часть деятельности экспертной комиссии. При использовании метода взаимооценки , по мимо возможности проявления личностных и групповых симпатий и антипатий , играет роль неосведомленность экспертов о возможностях д руг друга . В современных условиях достаточно хорошее знакомство с работами и возможно стями друг друга может быть лишь у сп ециалистов , много лет работающих совме стно . Однако привлечение таких пар специалист ов не очень-то целесообразно , поскольку они слишком похожи друг на друга. Использование формальных показателей (должнос ть , ученые степень и звание , стаж , число публикаций ...), очевидно , может носить вспомог ательный характер . Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора , врача , судьи в спо ртивных соревнованиях , т.е . таких экспертов , кот орые участвуют в длинных сериях однотипных экспертиз . Однако , увы , наиболее и н тересны и важны уникальные экспертизы больших проектов , не имеющих аналогов. В случае , если процедура экспертного о проса предполагает совместную работу экспертов , большое значение имеют их личностные качес тва . Один "говорун " может парализовать деятельн ость всей комиссии . В подобных случаях важно соблюдение регламента работы , разработанн ого РГ. Есть полезный метод "снежного кома " [1], п ри котором от каждого специалиста , привлекаем ого в качестве эксперта , получают несколько фамилий тех , кто может быть эксперт ом по рассматриваемой тематике . Очевидно , неко торые из этих фамилий встречались ранее в деятельности РГ , а некоторые - новые . Проце сс расширения списка останавливается , когда н овые фамилии перестают встречаться . В результ ате получается достаточно обширный сп исок возможных экспертов . Ясно , что если н а первом этапе все эксперты были из о дного "клана ", то и метод "снежного кома " даст , скорее всего , лиц из этого "клана ", мнения и аргументы других "кланов " будут упущены. Необходимо подчеркнуть , что подбор экспер тов в конечном счете - функция Рабочей группы , и никакие методики подбора не снимают с нее ответственности . Другими слов ами , именно на Рабочей группе лежит ответс твенность за компетентность экспертов , за их принципиальную способность решить поставленную з а дачу. Математиче ские модели поведения экспертов Теория и практика экспертных оценок весьма математиз ированы. Можно выделить две взаимосвязанные ветви - математические модели поведения экспертов и математико-статистические методы анализа эксперт ных оценок. Модели поведения экспертов обычно основан ы на предположении , что эксперты оценивают интересующий ЛПР параметр (например , ранжировку образцов изделий по конкурентоспособности ) с некоторыми ошибками , т.е . эксперта рассматрива ют как особого рода прибор с при с ущими ему метрологическими характеристиками . Оцен ки группы экспертов рассматривают как совокуп ность независимых одинаково распределенных случа йных величин со значениями в соответствующем пространстве объектов числовой или нечислово й природы . Обычно предп о лагается , что эксперт чаще выбирает правильное решение (т.е . адекватное реальности ), чем неправильное . В математических моделях это выражается в том , что плотность распределения случайной величины - ответа эксперта монотонно убывает с увеличением расстоян и я от центра распределения - истинного значения параметр а . Различные варианты моделей поведения экспе ртов описаны и изучены в [9,12,18, 26,27,37,38] и других публикациях. На математических моделях поведения экспе ртов основаны методы планирования экспертного опроса , сбора и анализа ответов экс пертов . Очевидно , чем больше предположений зал ожено в модель , тем больше выводов можно сделать на основе экспертных оценок , расс матриваемых как статистические данные - и тем менее обоснованными являются эти выводы , если нет оснований для принятия ис пользуемой модели . Рассмотрим триаду моделей поведения экспертов : Параметрич еская модель - непараметрическая модель - модель анализа данных. Параметриче ским моделям соответствуют наиболее сильные п редположения , проверить которы е обычно не удается . Так , следует обратить внимание н а то , что обычно невозможно обосновать нор мальность распределения ответов экспертов . Причин ы отсутствия нормальности в реальных данных , частным случаем которых являются экспертные оценки , подробно рассм о трены в [39]. Дополнительным фактором является ограниченность числа экспертов - обычно не более 10 - 30, что делает невозможным надежную проверку нормально сти даже с помощью такого эффективного по отношению к обычно встречающимся альтернатив ам критерия , к а к критерий Шапиро-У илка. В начале семидесятых годов был провед ен обширный эксперимент (на стыке с психоф изиологией ) по изучению поведения экспертов . К аждому из них было предъявлено пять образ цов . Эксперты рассматривались как "приборы ", кот орые сравнивали о бразцы по весу . Оказа лось , что ответы экспертов одинаково хорошо соответствуют как модели Терстоуна , так и модели Бредли-Терри-Льюса [9]. А ведь эти модел и принципиально различны , выводы на их осн ове существенно отличаются ! На наш взгляд , сказанного достат оч но , чтобы относиться с сомнением к обоснов анности применения параметрических моделей экспе ртных оценок. Непараметрические модели экспертных оценок опираются лишь на предположения общего хар актера о возможности вероятностно-статистического описания поведе ния экспертов с помощью непрерывных функций распрекделения или люсиа нов , параметрами для которых служат нечеткие множества - вектор вероятностей ответов "да ". Поэтому во многих ситуациях такие модели представляются адекватными. Под моделями анализа данных понимае м здесь модели , не использующие вероятностные соображения . Очевидно , они наиболее адекватны и защищены от критики , поскольку не п ретендуют на выход на пределы имеющихся д анных , не предполагают построения и обоснован ия какой-либо вероятностно-статис т ической модели реального явления или процесса . Од нако с их помощью , очевидно , нельзя сделат ь никаких заключений о будущих аналогичных ситуациях . А ведь экспертные опросы проводя тся ради обоснования поведения в будущем ! Другими словами , методы и модели ана л иза данных - наиболее обоснованные и н аиболее бесполезные. Итак , без вероятностных моделей не обо йтись . Поскольку параметрические модели обычно невозможно обосновать , остается использовать не параметрические. Математиче ские методы анализа экспертных оценок При ана лизе мнений экспертов можно применять самые разнообразные статистические методы , описывать их - значит описывать всю прикладную статист ику (по нашей оценке , к прикладной статист ике относится не менее 1 000 000 статей и книг , а из них не менее 100 00 0 являются а ктуальными в настоящее время ). В этом утве рждении нет ничего нового : поскольку одно из научных направлений желает рассматривать э ксперта как прибор , измеряющий интересующий Л ПР параметр - номер лучшего по конкурентоспосо бности изделия , ранжиро в ку проектов и т.д . - то и экспертные оценки оно со поставляет с результатами измерений - традиционным видом данных , обрабатываемых с помощью ме тодов прикладной статистики. Тем не менее можно выделить основные широко используемые в настоящее время ме тоды мат ематической обработки экспертных оценок - это проверка согласованности мнений э кспертов (или классификация экспертов , если не т согласованности ) и усреднение мнений экспер тов внутри согласованной группы. Поскольку ответы экспертов во многих процедурах экспе ртного опроса - не числа , а такие объекты нечисловой природы , как градации качественных признаков , ранжировки , ра збиения , результаты парных сравнений , нечеткие предпочтения и т.д ., то для их анализа оказываются полезными методы статистики объект ов нечисло в ой природы (см ., наприме р , [18,22,23,38,40-42]). Почему ответы экспертов носят нечисловой характер ? Наиболее общий ответ состоит в том , что люди не мыслят числами . В мышлении человека используются образы , слова , но не числа . Поэтому требовать от экспе рта о твета в форме числа - значит н асиловать его разум . Даже в экономике пред приниматели , принимая решения , лишь частично о пираются на численные расчеты . Это видно и з условного (т.е.определяемого произвольно принятым и соглашениями ) характера балансовой прибыли, амортизационных отчислений и других эк ономических показателей [43]. Поэтому фраза типа " фирма стремится к максимизации прибыли " не может иметь строго определенного смысла . До статочно спросить : "Максимизация прибыли - за ка кой период ?" Эксперт может сравни ть два объект а , дать им оценки типа "хороший ", "приемлемый ", "плохой ", упорядочить несколько объектов по привлекательности , но обычно не может сказа ть , во сколько раз или на сколько один объект лучше другого . Другими словами , от веты эксперта обычно измере н ы в порядковой шкале , являются ранжировками , резуль татами парных сравнений и другими объектами нечисловой природы , но не числами . Распро страненное заблуждение состоит в том , что ответы экспертов стараются рассматривать как числа , занимаются "оцифровкой " и х мне ний , приписывая этим мнениям численные значен ия - баллы , которые потом обрабатывают с по мощью методов прикладной статистики как резул ьтаты обычных физических измерений . В случае произвольности оцифровки выводы , полученные в результате обработки данных, могут не иметь отношения к реальности . В [22,38] это утверждение продемонстрировано на примере неад екватного данным усреднения отношения школьников к профессиям : десяти градациям были произ вольно приписаны баллы 1,2,3,...,10. Столь же естествен но было бы использовать баллы 1,4,9,...,100 или (-50),(-30),(-5),..., 17, т.е . произвольные десять числовых зн ачений , расположенных в порядке возрастания . С позиций репрезентативной теории измерений [22,23] следует применять алгоритмы анализа данных , р езультаты рабо т ы которых не меняю тся при допустимом преобразовании шкалы. Настоящая глава раздела отчета соответств ует другой парадигме по сравнению с многи ми публикациями по вопросам статистики объект ов нечисловой природы , например , статьями [40-42]. Зд есь мы рассматрив аем конкретную научно-пр актическую дисциплину , в которой постоянно ис пользуются методы статистического анализа нечисл овых данных , в то время как работы [40-42] п освящены одному из разделов прикладной матема тической статистики . Другими словами , настоящая г л ава раздела отчета написана с позиций специалиста по экспертным оценкам , а статьи [40-42] - с позиций специалста по статистическим методам. Сначала мы развивали тематику экспертных оценок , изучая возможность использования в этой области методов репрезентат ивной теории измерений [44,45], нечетких множеств [46,47], аксиомати ческого введения метрик [22,48] и т.д . Разработанные подходы , методы , результаты рассматривались к ак часть математической теории экспертного оц енивания . Соответствующие статьи [49-55] пуб л иковались в сборниках по экспертным о ценкам и были написаны на языке экспертны х оценок . И лишь затем , после десятилетней работы , было осознано , что разработана но вая область прикладной математической статистики , которая может применяться не только в экспе р тных оценках , но и в технических науках , медицине , социально-экономических исследованиях , практически во всех напрвлени ях научных и практических исследований . С другой стороны , для конкретной работы в об ласти экспертных оценок , возможно , более полез ны пра к тические рекомендации [1] , чем упомянутые математические результаты и содержа щие их публикации . Однако сейчас пришло вр емя вернуться к прежней парадигме , разработан ный математический аппарат статистики объектов нечисловой природы использовать для решения конкретных задач практики экспертных исследований. Тесная связь между экспертными оценками и статистикой объектов нечисловой природы позволяет опустить здесь описание математическ ого аппарата экспертных оценок , отослав читат еля к обзорам [40-42]. В настоящ ей главе раздела отчета мы ограничиваемся обсуждением вопросов использования этого аппарата (см . т акже предыдущую главу ). Проверка согласованности и классификация экспертов Статистичес кие методы проверки согласованности зависят о т математической природы о тветов эксперто в . Соответствующие статистические теории весьма трудны , если эти ответы - ранжировки или разбиения , и достаточно просты , если ответы - результаты парных сравнений . Отсюда вытекает рекомендация по организации экспертного опроса : не старайтес ь получить от эксп ерта ранжировку или разбиение , ему трудно это сделать , да и имеющиеся математические методы не позволяют далеко продвинуться . Эк сперту гораздо легче на каждом шагу сравн ивать только два объекта . Пусть он занимае тся парными сравнениями . Не п араметрич еская теория парных сравнений (теория люсиано в ) (основные результаты теории люсианов описан ы в работах [32,53]) позволяет решать более слож ные задачи , чем статистика ранжировок или разбиений . В частности , вместо гипотезы равном ерного распределени я можно рассматриват ь гипотезу однородности , т.е . вместо совпадения всех распределений с одним фиксированным (равномерным ) можно проверять лишь совпадение распределений мнений экспертов между собой , что естественно трактовать как согласованность их мнений. Таким образом , удается избавиться от неестественного предположения равномерности. При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению . Это можно сделать методами клас тер-анализа , предварительно введя метрику в пр остр анство мнений экспертов . Идея Кемени [37] об аксиоматическом введении метрик нашла в СССР многочисленных продолжателей [18,22,48]. Однако методы кластер-анализа обычно являются эврис тическими , в частности , невозможно с позиций статистической теории обосно в ать "з аконность " объединения двух кластеров в один [56]. Имеется важное исключение - для независимых парных сравнений (люсианов ) разработаны метод ы , позволяющие проверять возможность объединения кластеров как статистическую гипотезу [32,53]. Это - еще оди н аргумент за то , чт обы рассматривать теорию люсианов как ядро математических методов экспертных оценок. Нахождение итогового мнения комиссии экспертов Пусть м нения комиссии экспертов или какой-то ее ч асти признаны согласованными . Каково же итого вое (средне е , общее ) мнение комиссии ? Со гласно идее Кемени , описанной в монографии [37], следует найти среднее мнение как решение оптимизационной задачи - минимизировать суммарное расстояние от кандидата в средние до мнений экспертов . В [26] так найденное среднее мн е ние названо "медианой Кемени ". Математическая сложность состоит в том , что мнения экспертов лежат в некотором пространстве объектов нечисловой природы . Общая теория подобного усреднения построена в работах [22,40,54], в частности , показано , что в си лу сфор мулированного и доказанного А.И.Орл овым обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чь и мнения независимы и одинаково распределены ) приближается к некоторому пределу , который естественно назвать математическим ожиданием ( с лучайного элемента , имеющего то ж е распределение , что и ответы экспертов ). В конкретных пространствах нечисловых мне ний экспертов вычисление медианы Кемени может быть достаточно сложным делом [21]. Кроме св ойств пространства , велика роль конкретных ме трик. Так , в пространстве ранжировок при использовании метрики [37], связанной с коэффици ентом ранговой корреляции Кендалла , необходимо проводить достаточно сложные расчеты [21], в то время как применение метрики на основе коэффициента ранговой корреляции Спир м ена приводит к упорядочению по средни м рангам , т.е . вычисляется элементарно [28]. Интервальн ые экспертные оценки С начал а 80-х годов активно развивается интервальная математика [57], как наиболее практически важная часть е› - интервальная статистика (обзо р дан , например , в [58]). В разрабатываемом нами подходе основное внимание уделяется расчетам максимально возможного отклонения значения р ассматриваемой статистики , вызванного погрешностями в исходных данных (т.н.нотны ), и "рационального объема выборки ", п ревышение которого не может привести к существенному повыше нию точности оценивания . Основные идеи и р езультаты статистики интервальных данных опублик ованы в статьях [59-63]. Перспективным является использование интерва льных экспертных оценок : эксперт назыв ает не число , а интервал в качестве оценк и рассматриваемого параметра . Такие процедуры удачно сочетают в себе количественный и к ачественный подходы в экспертных оценках . В качестве примера можно назвать процедуру р егрессионного анализа , применяемую в эксп е ртно-статистическом методе для получения коэффициентов весомости признаков , позволяющих на иболее точно восстановить глобальное заключение об объекте по результатам оценок отдельн ых параметров [36]. Теория регрессионного анализа интервальных данных развита в [63]. Интерв альность необходимо учитывать , если результаты оценок параметров экспертами , как и глобаль ные оценки , задаются интервалами , а не чис лами . Интервальные экспертные оценки - новое пе рспективное направление в области экспертных оценок , которое то л ько начинает ра звиваться. При использовании метода интервальных экс пертных оценок вместо оценивания показателя и ли характеристики объекта числом эксперт указ ывает интервал , в котором он (или она ) содержится . Во многих случаях оценивание инте рвалом более ес тественно для эксперта , чем оценивание числом . Например , капитану р ыболовецкого сейнера естественнее указать квадра т морской поверхности (т.е . интервал по каж дой координате ), в котором вероятность хорошег о улова , по его мнению , максимальна , чем указать то ч ные координаты точки максимального улова . Интервальные экспертные оц енки успешно использовались с целью увеличени я улова сельди-иваси в Охотском море и атлантической сельди в Баренцевом море , соо тветствуюшая система поддержки принятия решений была разрабо т ана в Институте автоматики Дальневосточного отделения АН СССР [64]. Другой пример связан с оцениванием ка чества продукции . Оценку показателя , да и глобальную оценку эксперту естественнее дать не в виде действительного числа , а в в иде значения качественного признака - "отличн о ", "хорошо ", "удовлетворительно " и т.д . При фор мализации каждый такой ответ целесообразно оп исывать интервалом . Например , оценка "отлично " о писывается интервалом (0,8; 1,0), оценка "удовлетворительно " - интервалом (0,4; 0,6) и т.д . Это т подход можно сопоставить с использованием нечетких чисел в качестве ответов экспертов , поско льку интервалы - частные случаи нечетких множе ств [22, 23]. Выводы В насто ящее время все шире применяются различные методы экспертных оценок . Они незаменимы пр и р ешении сложных задач оценивания и выбора технических объектов , в том числе специального назначения , при анализе и пр огнозировании ситуаций с большим числом значи мых факторов - всюду , когда необходимо привлече ние знаний , интуиции и опыта многих высоко квали ф ицированных специалистов-экспертов. Проведение экспертных исследований основано на использовании современных методов приклад ной математической статистики , прежде всего с татистики объектов нечисловой природы , и совр еменной компьютерной техники . Наиболее про двинутые результаты в области экспертных оценок получены в СССР в 70-90-х годах в рамках комиссии "Экспертные оценки и нечисловая статистика " Научного Совета АН ССС Р по комплексной проблеме "Кибернетика ". В области компьютерной техники наиболее перспектив н ыми представляются разработки фирмы "Apple". Поэтому целесообразно разработать предназнач енный для поддержки проведения экспертных исс ледований АРМ "МАТЭК " ("Математика в экспертизе ") на базе РС фирмы "Apple" с использованием современных достижений в облас ти теории и практики экспертных оценок , в области прикладной математической статистики , прежде всего статистики объектов нечисловой природы. Литература 1. Орлов А.И . Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателе й качес тва . - В сб ."Многомерный статисти ческий анализ в социально-экономических исследова ниях ", М .: Наука , 1974, с .388-393. 1. Панкова Л.А ., Петровский А.М ., Шнейдерман М.В . Организация экспертиз и анализ экспе ртной информации . - М .:Наука , 1984. - 120 с. 2. Бешел ев С.Д ., Гурвич Ф.Г . Экспертн ые оценки . - М .: Наука , 1973. - 79 с. 3. Райхман Э.П ., Азгальдов Г.Г . Экспертные методы в оценке качества товаров . - М .: Эк ономика , 1974. - 151 с. 4. Бурков В.Н . Большие системы : моделирован ие организационных механизмов . - М .: Наука , 1989. - 354 с. 5. Китаев Н.Н . Групповые экспертные оценки . - М .: Знание , 1975. - 64 с. 6. Ларичев О.И . Объективные модели и с убъективные решения . - М .: Наука , 1987. - 143 с. 7. Моисеев Н.Н . Неформальные процедуры и автоматизация проектирования . - М. : Знание , 1979. - 64 с. 8. Моисеев Н.Н . Математические задачи сист емного анализа . - М .: Наука , 1981. - 487 с. 9. Статистические методы анализа экспертных оценок . - М .: Наука , 1977. - 384 с. 10. Экспертные оценки /Вопросы кибернетики . - Вып .58. - М .: Научный совет АН СССР по комплексной проблеме "Кибернетика ", 1979. - 200 с. 11. Экспертные оценки в системных исследо ваниях /Сборник трудов . - Вып .4. - М .: ВНИИСИ , 1979. - 120 с.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
20 лет назад: «Сын у меня умница – с утра до ночи не оторвёшь от компьютера».
Сейчас: «Сын у меня полный балбес – с утра до ночи не оторвёшь от компьютера».
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Обратите внимание, реферат по социологии "Современный этап развития теории экспертных оценок", также как и все другие рефераты, курсовые, дипломные и другие работы вы можете скачать бесплатно.

Смотрите также:


Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2016
Рейтинг@Mail.ru