Структура статистики объектов нечисловой природы

СТРУКТУРА СТ АТИСТИКИ ОБЪЕКТОВ НЕЧИСЛОВОЙ ПРИРОДЫ Рассматривается структура основополагающе го для разработки АРМ "МАТЭК " направления научно-практических исследований , известного под н азванием "статистика объектов нечисловой природы ". Введение Термин "статистика объектов нечисловой природы " впервые появилс я в 1979 г . в монографии [1]. В том же году в статье [2] была сформулирована програм ма развития этого нового направления прикладн ой математической статистики , которая к 1985 г . в основном была реализована (см . обзоры [3-5]). Статистика объектов нечисловой природы как самостоятельное научное направление был а выделена в СССР . В 80-е годы существен но возрос интерес к этой тематике и у зарубежных исследователей . Это отражено в отчетах [6-7] о Первом Всемирном Конгрессе Обще ства математической статистики и теории вероя тнос т ей им . Бернулли , состоявшемся в сентябре 1986 г . в Ташкенте . Статистика объе ктов нечисловой природы используется в нормат ивно-технической и методической документации (ГОСТ 24660-81 и другие стандарты по статистическому приемочному контролю по альтернативн о му признаку , рекомендации [8] и др .). Ее примен ение позволяет получить существенный технико-экон омический эффект (см . например , сводку [9]). Однако тематика статистики объектов неч исловой природы обсуждалась до сих пор в основном кругу развивающих ее спец иа листов , в результате она недостаточно отражен а в монографической литературе . Цель настояще го пункта отчета - дать введение в статист ику объектов нечисловой природы , выделить ее структуру , указать основные идеи , результаты и публикации. Объектами нечисло вой природы (см . также пункты 2. 3 и 2. 4 настоящего отчета ) называют элементы пространств , не являющихся линейным и . Примерами являются бинарные отношения (ранж ировки , разбиения , толерантности [10]), множества , после довательности символов (тексты ). Объект ы нечисловой природы нельзя складывать и умножать на числа , не теряя при этом содержательного смысла . Этим они отличаются от издавна используемых в прикладной ста тистики (в качестве элементов выборок ) чисел , векторов и функций. Прикладную статистику по вид у ст атистических данных принято делить [4, 8] на следу ющие направления : статистика случайных величин (одномерная статистика ); многомерный статистический анализ ; статистика временных рядов и случайных процессов ; статистика объектов нечисловой п рироды. П ри создании теории вероятностей и математической статистики исторически первым и были рассмотрены объекты нечисловой природы - белые и черные шары в урне . На ос нове соответствующих вероятностных моделей были введены биномиальное , гипергеометрическое и друг и е распределения , получены теорем ы Муавра-Лапласа , Пуассона и др . Современное развитие этой тематики привело , в частности , к созданию теории статистического контроля качества продукции по альтернативному призна ку (годен - не годен ) в работах А . Н . Колмогор о ва [11], Б . В . Гнеденко [12], Ю . К . Беляева [13], Я . П . Лумельского [14] и многих других. В семидесятых годах в связи с за просами практики весьма усилился интерес к статистическому анализу нечисловых данных . Моск овская группа , организованная Ю . Н . Тюриным и другими специалистами вокруг семинар а "Математические методы в экспертных оценках ", развивала в основном вероятностную статисти ку нечисловых данных [15]. Были установлены разно образные связи между различными видами объект ов нечисловой природы и изучены св ойства этих объектов . Московской группой выпу щены , в частности , сборники [16 - 22] и обзоры [23, 24]. Хотя в названиях многих из этих изданий стоят слова "экспертные оценки ", анализ соде ржания сборников показывает , что подавляющая часть статей посвящена математико-статисти ческим вопросам , а не проблемам проведения экспертиз . Частое употребление указанных слов отражает лишь один из импульсов , стимулир ующих развитие статистики объектов нечисловой природы и идущих от запросов практики . При этом необходимо п о дчеркнуть , ч то полученные результаты могут и должны а ктивно использоваться в теории и практике экспертных оценок , в особенности при разраб отке АРМ "МАТЭК ". Новосибирская группа (Б . Г . Миркин [25-28], Г . С . Лобов [29] и др .), как правило , не ис пользовала в ероятностные модели , т . е . вела исследования в рамках анализа данных (в том смысле , как этот термин разъясняе тся в работах [4, 8]). В московской группе в рамках анализа данных также велись работы , в частности , Б . Г . Литваком [30]. Исследования по статисти к е объектов нечислово й природы выполнялись также в Ленинграде , Ереване , Киеве , Таллине , Тарту , Красноярске , Мин ске , Днепропетровске , Владивостоке , Калинине и других центрах , некоторые из них будут упо мянуты ниже (см . также материалы конференций по анализу н ечисловых данных [31, 32]). . Внутреннее дел ение статистики объектов нечисловой природы Внутри рассматриваемого направления приклад ной статистики выделим следующие области : 1. Статистика конкретных видов объектов нечисловой природы ; 2. Статистика в пр остранствах общей (произвольной ) природы ; 3. Применение идей , подходов и результат ов статистики объектов нечисловой природы в классических областях прикладной статистики. Единство рассматриваемому направлению прида ет прежде всего вторая составляющая , поз воляющая с единой точки зрения подход ить к статистическим задачам описания данных , оценивания , проверки гипотез при рассмотрени и выборки , элементы которой имеют ту или иную конкретную природу . Внутри первой со ставляющей рассмотрим [33]: 1. 1) теорию измер ений ; 1. 2) статистику бинарных отношений ; 1. 3) теорию люсианов (бернуллиевских векторов ); 1. 4) статистику случайных множеств ; 1. 5) статистику нечетких множеств ; 1. 6) многомерное шкалирование ; 1. 7) аксиоматическое введение метрик. Перечисленные разделы тесно связаны друг с другом , как продемонстрировано , в частности , в работах [1, 4, 24]. Вне данного перечня остались работы по хорошо развитым класс ическим областям - статистическому контролю [11-14], табл ицам сопряженности [34], а также по анали з у текстов [35, 36] и некоторые другие [25-29]. Та ким образом , рассмотрим постановки 1970-90 гг . вероя тностной статистики объектов нечисловой природы. . Статистика в пространствах общей природы Пусть -элементы пространства , н е являющегося линейным . Как определить средне е значение для ? Поскольку нельзя складывать элементы , с равнивать их по величине , то необходимы по дходы , принципиально новые по сравнению с классическими . В работе [37] предложено использовать показател ь различия (с одержательный смысл : чем больше , тем больше различаются и ) и определять среднее как решение экстремальной задачи . (1) Таким образом - это совокупность всех тех , для которых функция достигает минимума на . Для классического случая при имеем : , а при среднее совпадает с выборочной медианой (п ри нечетном объеме выборки ; а при четном - является отрезком с концами в двух средних элементах вариационного ряда ). Для ряда конкретных объектов среднее как решение экстремальной задачи вводилось рядом авторов . В 1929 г . Джини и Гальвани [38] применили такой по дход для усреднения точек на плоскости и в пространстве ( см . также [39]). Кемени [40-42] решение задачи (1) называл медианой или средним для выборки , состоящ ей из ранжировок . При моделировании лесных пожаров , согласно выражению (1), было введено " среднеук л оняемое множество " [43]. Общее оп ределение среднего (1) рассмотрено нами в работа х [2, 37]. Основной результат , связанный со средним и (1) - аналог закона больших чисел . Пусть . - независи мые одинаково распределенные случ айные элементы со значениями в пространстве общей природы (о пределения здесь и далее - согласно Математиче ской Энциклопедии [44]). Теоретическим средним , и ли математическим ожиданием , назовем [37] . (3) Закон больших ч исел состоит в сходимости . к . при . Поскольку и эмпирическое , и теоретическ ое средние - множества , то понятие сходимости требует уточнения. Одно из возможных уточнений тако во [46]: для функции (4) введем понятие " -пятки " ( > 0) . (5) Очевидно , -пятка - э то окрестность (если он достигается ), заданная в терминах минимизируемой функции . Тем самым снимается вопрос о выборе метрики в прост ранстве (п озже подобная идея была использована в ра боте [45]). Тогда при некоторых условиях регулярно сти для любого >0 вероят ность события (6) стремится к 1 пр и . , т . е . справедлив закон больших чисел [46]. Естественное обобщение рассматриваемой зада чи позволяет построить общую теорию опт имизационного подхода в статистике . Как извес тно [47], большинство задач прикладной статистики может быть представлено в качестве оптимиз ационных . Как себя ведут решения экстремальны х задач ? Частные случаи этой постановки : к ак ведут себя при ро с те объем а выборки оценки максимального правдоподобия , минимального контраста (в том числе робастные в смысле Тьюки-Хьюбера [1, 48-50]), оценки нагрузок в факторном анализе и методе главных к омпонент при отсутствии нормальности , оценки метода наименьших мо д улей в регре ссии [51] и т . д. Обычно легко устанавливается , что для некоторых пространств и последовательности случайных функций . при . найдется функция такая , что (7) для любого (сходимость по вероятности ). Требуется вывести отсюда, что , (8) т . е . решения экстремальных задач также сходятся . Понятие сходимости в соотношении (8) уточняется с пом ощью -пяток , как это сделано выше для закона больши х чисел . Условия регулярности , при которых справедливо предельное соотношение (8), приведены в исследовании [46]; применения , в частности , к методу главных компонент , рассмотрены в работ е [4]. Отметим , что зак он больших чисел позволил установить устойчивость медианы Кемен и и изучить ее поведение при увеличении объема выборки [1]. Начиная с классической ста тьи Вальда [52], различные постановки , связанные с решениями экстремальных статистических задач , изучались многими авторами (см ., напр имер , [53-55]). Одна из наиболее общих постановок рассмотрена в работе [46]. Применения к теории классификации рассмотрел К . А . Пярна [119]. Как оценить распределение случайного эл емента в пространстве общей природы ? Поскольк у п онятие функции распределения непримени мо , естественно использовать непараметрические оц енки плотности , т . е . функции . . такой , что для любого измеримого множества , (9) где . - некото рая мера в . Р яд непараметрических оценок плотности был пре дложен и изучен в работе [56]. Например , аналогом ядерных оценок Парзена-Розенблатта [57, 58] явл яется оценка , (10) где - п о казатель различия ; - я дерная функция ; - последовательность положительных чисел ; - нормирующий множитель . Оказалось , ч то статистики типа (10) обладают такими же св ойствами , по крайней мере пр и фиксиров анном , ч то и их классические аналоги при . Некоторые изменения необходимы при рас смотрении дискретных , к аковыми являются многие пространства конкретных объектов нечисловой природы (см . об этом п . 2. 6). С помощью непараметрических оценок плот ности можно развивать регрессионный анализ , д искриминан тный анализ и другие направлени я в пространствах общей природы ([1-5], [59]). Для проверки гипотез согласия , однородно сти , независимости в пространствах общей прир оды могут быть использованы статистики интегр ального типа , (11) где -последовательность случайных функций на ; - последовательность случайных распреде лений (или зарядов ). Обычно при сходится по распределению к некоторой случайной функции , а - к распределению . Тогда распределение статистики интегр ального типа (11) сходится к распределению случа йного элемента . (12) Условия , при к оторых это справедливо , даны в работе [60]. (Хо тя они сформулированы для конечномерного случ ая , переход в пространства общей природы н е представляет принципиальных трудностей .) Пример применения - вывод предельного распределени я статистики типа омега-квадрат для проверки симметрии распределения [61] (см . также [1, гл . 2]). Перейдем к статистике конкретных видов объектов нечисловой природы. 2. 5. 4. Теория измере ний Цель теории измерений - борьба с субъективизмом исследователя при приписывании численных значений реальным объектам . Так , рас стояния можно измерять в метрах , микронах , милях , парсеках и других единицах измерения . Выбор единиц измерения зависит от исследов ателя , т . е . субъективен . Стат и стиче ские выводы могут быть адекватны реальности только тогда , когда они не зависят от того , какую именно единицу измерения пред почтет исследователь , т . е . когда они инвар иантны относительно допустимого преобразования ш калы. Теория измерений известна в СС СР уже около 30 лет по переводам [62, 63]. С семи десятых годов активно работают отечественные исследователи (см . обзор в [1, гл . 3]). В настояще е время изложение основ теории измерений включают в справочные издания [47], помещают в научно-популярные журна л ы [64] и книги для детей [65]. Однако она еще не стала общеизвестной среди специалистов , в частност и , среди метрологов . Поэтому опишем одну и з задач теории измерений. Согласно [1, 62, 63], шкала задается группой допу стимых преобразований (прямой в себя ). Но минальная шкала (шкала наименований ) задается группой всех взаимнооднозначных преобразований , ш кала порядка - группой всех строго возрастающи х преобразований . Это - шкалы качественных приз наков [27]. Группа линейных возрастающих преобразован ий , задает шкалу интервалов . Групп а , определяет шкалу отношений . Наконе ц , группа , состоящая из одного тождественного преобразования, описывает абсолютную шкалу . Это - шкалы количественных признаков . Использу ют и некоторые другие шкалы. Рассмотрим задачу сравнения средних зна чений для двух совокупностей одинакового объе ма и . Пусть среднее вычисляется с помощью функци и Если , (13) то необходимо , чтобы для любого допу стимого преобразования из задающей шкалу группы Ф . (В противном случае результат срав нения будет зависеть от того , какое из эквивалентных представлений шкалы выбрал исследователь .) Требование равносильности (13) и (14) вместе с некоторыми условиями регулярности приводят к тому , что в порядковой шкале в качест ве средних можно использовать только члены вариационного ряда , в частности , медиан у , но нельзя использовать среднее геометрическ ое , среднее арифметическое , и т . д . [66]. В к оличественных шкалах это требование выделяет из всех обобщенных средних по А . Н . Кол могорову [67]: в шкале интервалов - только среднее а рифметическое, в шкале отнош ений - степенные средние [68]. Кроме средних , аналогичные задачи рассмо трены для расстояний [69, 70] и мер связи случай ных признаков [71, 1]. Приведенные результаты о средних величи нах [1, 68] Я . Э . Камень применил в АСУ ТП доменных печей ]120]. Л . Д . Ме шалкин выст упил с критикой требования равносильности усл овий (13) и (14) и предложил собственную постановку [72]. Велико прикладное значение теории измер ений в задачах стандартизации и управления качеством [9], в частности , в квалиметрии [73]. Так , В . В . Подиновский показал , что любое изменение коэффициентов весомости единичных показателей качества продукции приводит к изм енению упорядочения изделий по средневзвешенному показателю [74]. Н . В . Хованов развил одну из возможных теорий шкал измерения качеств а [75]. Теория измерений полезна и в других прикладных областях [76, 77]. 2. 5. 5. Статистика би нарных отношений Оценивание центра распределения проводят обычно с помощью медианы Кемени [42, 24]. Состояте льность вытекает из закона больших чисел [1]. Вычи слительные процедуры нахождения медианы Кемени обсуждаются в работе [30]. Методы проверки гипотез развиты отдельн о для каждой разновидности бинарных отношений . В области статистики ранжировок , или ран говой корреляции , классической является книга Кендалла [78]. Современные достижения отражены в статье Ю . Н . Тюрина и Д . С . Шмерли нга [79]. Статистика случайных разбиений развита А . В . Маамяги [80]. Статистика случайных толерантно стей (рефлексивных симметричных отношений ) изложен а в работе [1]. Многие ее зада ч и являются частными случаями задач теории люсианов. 2. 5. 6. Теория люсиан ов (бернуллиевских векторов ) Люсиан (бернуллиевский вектор ) - это после довательность испытаний Бернулли с , вообще го воря , различными вероятностями успеха [81, с . 232]. Ре ализация люсиана (бернуллиевского вектора ) - э то последовательность из 0 и 1. В работе [1] люс ианы (бернуллиевские вектора ) рассматривались как случайные множества с независимыми элементам и , а в исследовании [82] - как результаты незав исимых парных сравнений . Посл е довател ьность результатов контроля качества единиц п родукции по альтернативному признаку - также р еализация люсиана (бернуллиевского вектора ). Случай ная толерантность может быть записана в в иде люсиана . Поскольку один и тот же о бъект применяется в различн ы х обл астях , естественно для его наименования приме нять специально введенный термин "бернуллиевский вектор ". Используется также термин "люсиан "[2]. В рассматриваемой теории изучают методы проверки согласованности (одинаковой распределен ности ), однородности двух выборок , независимо сти люсианов . Изучение этих задач в асимпт отике А . Н . Колмогорова начато в работах [1, 82, 83] и продолжено Г . В . Рыдановой [117], Т . Н . Дылько [84], Г . В . Раушенбахом и А . А . Зас лавским [85]. Имеется также и обзор [33]. Методы пр оверки указанных гипотез нацелены на ситуацию , когда число бернуллие вских векторов фиксировано , а их длина рас тет . При этом число неизвестных параметров возрастает пропорционально объему данных , т . е . теория построена в асимптотике растущего числа парамет р ов . Ранее эта а симптотика под названием асимптотики А . Н . Колмогорова использовалась в дискриминантном ана лизе , но там применялись совсем другие мет оды [86]. Непараметрическая теория парных сравнений (в предположении независимости результатов отде льных ср авнений ) - часть теории бернуллиевс ких векторов [82]. Параметрическая теория связана в основном с попытками выразить вероятност и того или иного исхода через значения гипотетических или реальных параметров сравнив аемых объектов [87]. Известны модели Терсто у на , Бредли-Терри-Льюса и др . [88]. В СССР построен ряд новых моделей парных сравнени й [89, 4]. Существенные результаты в этой области принадлежат Д . С . Шмерлингу [90]. Имеются модели парных сравнений с тремя исходами (больше , меньше , неразличимо ), модели з ависим ых сравнений , сравнений нескольких объектов (с ближающие рассматриваемую область с теорией с лучайных ранжировок ) и т . д . [4, 90, 91]. Статистика случ айных и нечетких множеств Давнюю историю имеет статистика случайн ых геометрических объектов (отрез ков , треу гольников , кругов и т . д .) [92]. Как сказано в монографии [93], современная теория случайных м ножеств сложилась "при изучении пористых сред и объектов сложной природы в таких о бластях , как металлография , петрография , биология ". Различные направле н ия внутри эт ой теории рассмотрены в работе [1, гл . 4]. Остан овимся на двух. Случайные множества , лежащие в евклидово м пространстве , можно складывать : сумма множес тв и - - это объединение всех векторов , где , . Н . Н . Ляшенко получил аналоги законов бо льших чисел , центральной предельной теоремы , р яда методов прикладной статистики , систематически используя подобные суммы [94]. Для статистики объе ктов нечисловой природы интереснее подмножества пространств , не являющихся линейными . В работе [1] рассмотрен ы некоторые задачи теории конечных случайных множеств . Ряд интересных результатов получил С . А . Ковязин [95], в частности , он доказал гипотезу [37 ] о справедливости закон а больших чисел при использовании расстояния между множествами , (15) где . - некото рая мера ;. - знак симметрической разности . Прикладники также д елают попытки развивать статистику случайных множеств [43, 96]. С теорией случайных множеств тесно с вязана теория нечетких множеств , нач ало которой положено статьей Л . А . Заде [97]. Эт о направление прикладной математики получило бурное развитие - к настоящему времени число публикаций измеряется десятками тысяч , имеются международные журналы , постоянно проводятся конференции , практические п риложения дал и ощутимый технико-экономический эффект [98, 118]. При изложении теории нечетких множеств [99-101] обычно не подчеркивается связь с вероятностными м оделями . Установлено [1], что теория нечеткости в определенном смысле сводится к теории сл учай н ых множеств , хотя эта связь и имеет лишь теоретическое значение . Обще е введение в прикладные вопросы теории не четкости дано в работе [102]. С точки зрения статистики объектов н ечисловой природы нечеткие множества - лишь од ин из видов объектов нечисловой п риро ды . Поэтому к ним применима общая теория в пространствах произвольной природы [103]. Имеют ся работы , в которых совместно используются соображения вероятности и нечеткости [104, 105]. 2. 5. 8. Многомерное ш калирование и аксиоматическое введение метрик Многомерное шкалирование имеет целью пр едставление объектов точками в пространстве н ебольшой размерности (1-3) с максимально возможным сохранением расстояний между точками [24, 106]. Оригин альные подходы разработаны , в частности , В . О . Мазуром и А . Ю . Юр овским [107], В . Т . Перекрестом [108]. Состоятельность одной оценки размерности искомого пространства установлена в работе [4]. Из сказанного выше ясно , какое больш ое место занимают в статистике объектов н ечисловой природы метрики (расстояния ). Как их выб рать ? В работах [41, 42] предложено выво дить вид метрик из некоторых систем аксио м . Аксиоматически получена метрика в простран стве ранжировок , которая оказалась линейно св язанной с коэффициентом ранговой корреляции К ендалла [42]. Метрика (15) в пространст в е множеств получена в работе [1, § 4. 3] также и сходя из некоторой системы аксиом . Г . В . Раушенбахом [109] дана сводка по аксиоматическому подходу к введению метрик в пространства х нечисловой природы . К настоящему времени практически для каждой используемо й в приложениях метрики удалось подобрат ь систему аксиом , из которой чисто математ ическими средствами можно вывести именно эту метрику. Применения стат истики объектов нечисловой природы Идеи , подходы , результаты статистики объе ктов нечисловой природы ока зались полезны ми и в классических областях прикладной с татистики . Статистика в пространствах общей п рироды позволила с единых позиций рассмотреть всю прикладную статистику [8], в частности , показать , что регресионный , дисперсионный и ди скриминантный анали з ы являются частны ми случаями общей схемы регрессионного анализ а в пространстве произвольной природы [110]. Поско льку структура модели - объект нечисловой прир оды , то ее оценивание , в частности , оценива ние степени полинома в регрессии , также от носится к ст а тистике объектов неч исловой природы (см . например , [111, 112]). Если учесть , что результаты измерения всегда имеют по грешность , т . е . являются не числами , а нечеткими множествами , то приходим к необходи мости пересмотреть некоторые выводы теоретическо й ста т истики [113]. Например , отсутствует состоятельность оценок , нецелесообразно увеличив ать объем выборок сверх некоторого предела. Технико-экономическая эффективность от приме нения методов статистики объектов нечисловой природы достаточно высока . Только 5 ра бот по внедрению методов статистики объектов н ечисловой природы дали 1 млн . 352 тыс . руб . в год [114] (по ценам середины 80-х годов ; поскол ьку на 30 июня 1996 г . индекс инфляции составляе т примерно 12000, то в современных ценах этот эффект оценивается как 16, 2 миллиарда руб .). Так , методы "согласованного с преобразова ниями усредняющего сжатия данных ", основанные на теории средних величин , согласованных со шкалами измерений [1, 66, 68], внедрены в АСУ ТП доменной печи N5 Череповецкого металлургического ком бината с экономическим эффектом 33 ты с . руб . [120]. Применение одного из методов стат истики объектов нечисловой природы - качественного факторного анализа матриц связи - при опт имизации гаммы агрофизических приборов , производи мых в НПО "Агроприбор ", дало э коно мический эффект 850 тыс . руб . [115]. Использование ста тистике бинарных отношений для формирования к лассификатора основных показателей качества труд а на цементных заводах принесло 88, 5 тыс . руб . [116]. В качестве примера рассмотрим задачу диагностики (в других терминах - распозн авания с учителем , дискриминации ) в пространст ве разнотипных признаков . Классические непараметр ические методы диагностики , основанные на яде рных оценках плотности , пригодны только в случае , когда все признаки - количественные . В о многих практических ситуациях часть признаков принимает дискретные значения . Мы рекомендуем применять методы , основанные на непараметрических оценках (10) плотности в пространствах общей природы . Введение расстояния между точками в пространстве разнотип н ых признаков , необходимое для при менения этой рекомендации , может быть осущест влено , например , путем суммирования расстояний между значениями отдельных признаков . Проведенн ые в Институте медицины труда РАМН расчет ы (1989 -1990 гг .) показали преимущество о п исанного алгоритма над ранее известными. Литература 1.Орлов А.И . Устойчивость в социально-экон омических моделях.-М.Наука ,1979.-296 с. 2.Орлов А.И . Экспертные оценки / Вопросы кибернетики . Вып .58.-М .: Научный Совет СССР по комплексн ой проблеме "Кибернетика ", 1979.С .17-33. 3.Орлов А.И . / Тезисы докладов Четвертой международной Вильнюсской конференции по теори и вероятностей и математической статистике : Т ом 2.-Вильнюс , Вильнюсский госуниверситет , 1985.С .278-280. 4.Орлов А.И . / Анализ не числовой ин формации в социологических исследованиях.-М.Наука , 1985.С .58-92. 5.Орлов А.И . / Статистика . Вероятность . Экон омика.-М.Наука ,1985. С .99-107. 6.Орлов А.И . / Заводская лаборатория . 1987.Т .58. N3.С .90-91. 7.Орлов А.И . /Надежность и контроль ка чес тва . 1987.N6.С .54-59. 8.Рекомендации . Прикладная статистика . Методы обработки данных . Основные требования и х арактеристики .- М .:ВНИИС ,1987.-64 с. 9.Кривцов В.С ., Фомин В.Н ., Орлов А.И . / Стандарты и качество . 1988.N3.С .32-36. 11.Колмогоров А.Н . Статистич еский прие мочный контроль при допустимом числе дефектны х изделий , равном нулю . - Л .: ДНТП , 1951. - 22 с . 12. Гнеденко Б.В . Математика и контроль качества продукции .- М .: Знание , 1978. - 64 с . 13. Беляев Ю.К . Вероятностные методы выборо чного контроля.-М .: Наука , 1975. - 408 с. 14. Лумельский Я.П . Статистические оценки р езультатов контроля качества . - М .: Из-во стандар тов , 1979. - 200 с . 15. Орлов А.И . Современные проблемы киберне тики : Прикладная статистика . - М .: Знание , 1981. с 3-14. 16. Статистические методы анализа экспер тных оценок / Ученые записки по статистике , т . 29, -М .: Наука , 1977-384 с . 17. 17.Экспертные оценки в системных исследов аниях / Сборник трудов . - Вып . 4. - М .: ВНИИСИ , 1970 - 120 с . 18. Экспертные оценки / Вопросы кибернетики . - Вып. 58. - М .: Научный Совет АН СССР по комплексной проблеме / "Кибернетика ". 1979. - 200 с.