Реферат: Методы оценки близости допредельных и предельных распределений статистик - текст реферата. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Реферат

Методы оценки близости допредельных и предельных распределений статистик

Банк рефератов / Технологии

Рубрики  Рубрики реферат банка

закрыть
Категория: Реферат
Язык реферата: Русский
Дата добавления:   
 
Скачать
Архив Zip, 24 kb, скачать бесплатно
Заказать
Узнать стоимость написания уникального реферата

Узнайте стоимость написания уникальной работы

6 Методы оценки близости допредельных и предельных распределений стат истик Рассма тривается проблема оценки близости предельных распределений статистик и распределений , соотве тствующих конечным объемам выборок . При каких объемах выборок уже можно пользоваться п редельными распределениями ? Каков т очный смысл термина "можно " в предыдущей фразе ? О сновное внимание уделяется переходу от точных формул допредельных распределений к пределу и применению метода статистических испытаний (Монте-Карло ). Обсуждаются "подводные камни " на пути исследователя в ра с сматрива емой области. 1. Асимптотическая математическая статистика и практика анализа статистических данных Как мы обычно подходим к обработке реальных данных в конкретной прикладной задаче ? Первым делом строим статистическую модель . Если мы хотим перене сти выводы с совокупности резуль татов наблюдений на более широкую совокупност ь , например , предсказать что-либо , то рассматрив аем , как правило , вероятностно-статистическую модел ь . Например , традиционную модель выборки , в которой результаты наблюдений - реа л изации независимых (в совокупности ) одинаково распределенных случайных величин . Очевидно , любая модель лишь приближенно со ответствует реальности. В частности , естественно ожидать , что распределения резул ьтатов наблюдений несколько отличаются друг о т друга, а сами результаты связаны м ежду собой , хотя и слабо . И эти ожидани я во многих конкретных случаях оправдываются (в терминах конкретной прикладной ситуации см . об этом , например , в монографии [1]). Итак , первый этап - переход от реально й ситуации к математ ической модели . Да лее - неожиданность : на настоящем этапе своего развития математическая теория статистики за частую не позволяет провести необходимые иссл едования для имеющихся объемов выборок . Более того , отдельные математики пытаются оправдат ь свой отры в от практики сообра жениями о структуре этой теории , на первый взгляд убедительными . Неосторожная давняя фр аза Б . В . Гнеденко и А . Н . Колмогорова : "Познавательная ценность теории вероятностей р аскрывается только предельными теоремами " [2] взята на вооружен и е и более близки ми к нам по времени авторами . Так , И . А . Ибрагимов и Р . З . Хасьминский пишут : "Решение неасимптотических задач оценивания , хо тя и весьма важное само по себе , как правило , не может являться объектом достато чно общей математической теории . Б о лее того , соответствующее решение часто зависит от конкретного типа распределения , объема выборки и т . д . Так , теория малы х выборок из нормального закона будет отл ичаться от теории малых выборок из закона Пуассона " [3, с .7]. Согласно цитированным и подобн ым им авторам , основное содержание математической теории статистики - предельные теоремы , получе нные в предположении , что объемы рассматривае мых выборок стремятся к бесконечности . Эти теоремы опираются на предельные соотношения теории вероятностей , типа З а кона Больших Чисел и Центральной Предельной Тео ремы . Ясно , что сами по себе подобные у тверждения относятся к математике , т . е . к сфере чистой абстракции , и не могут б ыть непосредственно применены для анализа реа льных данных . Их использование опирается на в ажное предположение : "При данном объеме выборки достаточно точны ми являются асимптотические формулы . " Конечно , в качестве первого приближения представляется естественным воспользоваться аси мптотическими формулами , не тратя сил на а нализ их точности . Но э то - лишь на чало долгой цепи исследований . Как же обыч но преодолевают разрыв между результатами аси мптотической математической статистики и потребн остями практики статистического анализа данных ? Какие "подводные камни " подстерегают на это м пути ? Обсуждени ю этих вопросов и посвящена настоящая статья. 2. Точные формулы и асимптотика Начнем с наибо лее продвинутой в математическом плане ситуац ии , когда для статистики известны как пред ельное распределение , так и распределения при конечных объемах выборки . Примером является двухвыборочная односторон няя статистика Н.В.Смирнова . Рассмотрим две нез ависимые выборки объемов m и n из непрерывных функций распределения F(x) и G(x) соответственно . Для проверки гипотезы однородности двух выборок H 0 : F(x) = G(x) для всех действительных чисел x в 1939 г . Н.В.Смирнов в статье [4] предложил использовать статистику D + (m,n) = sup ( F m (x) - G n (x) ) , где супремум бе рется по всем действительным числам x. Для обсуждения проблемы соотношения точных и п редельных результатов ограничимся случаем равных объемов выборок , т.е . m = n. Положим H(n, t) = P ( D + (n,n) $ t n - 1/2 ) . В цитированной статье [4] Н,В . Смирнов показал , что при безгр аничном возрастании объема выборки n вероятность H(n, t) стремится к exp ( - t 2 ). В работе [5] 1951 г . Б.В.Гнеденко и В.С.Королю к показали , что при целом с = t n 1/2 (именно при таких t веро ятность H(n, t) как функция t имеет скачки , поскольку статистика Смирнова D + (n,n) кратна 1/ n ) рассматриваемая вероятность H(n, t) выражается через биномиальные коэффициенты , а именно, (1). К сожалению , не посредственные расчеты по формуле (1) возможны л ишь при сравнительно небольших объемах выборо к , поскольку велич ина n!.уже при n=100 имеет более 200 цифр и не может быть без преобразований использована в вычислениях . Следов ательно , наличие точной формулы для интересую щей нас вероятности не снимает необходимости использования предельного распределения и из учения точ н ости приближения с его помощью. Широко известная формула Стирлинга для гамма-функции и , в частности , для факториа лов позволяет преобразовать последнее выражение в асимптотическиое разложение , т.е . построить бесконечный степенной ряд (по степеням n ) т акой что каждая следующая частичная сум ма дает все более точное приближение для интересующей нас вероятности H(x, t) . Это и бы ло сделано в работе А.А.Боровкова [6], опубликован ной в 1962 г . Большое количество подобных раз ложений для различных статистических з адач приведено в работах [7-9] В.М.Калинина и О.В . Шалаевского в конце 60-х - начале 70-х годов . (Интересно отметить , что асимптотич еские разложения в ряде случаев расходятся , т.е . остаточные члены имеют нетривиальную п рироду .) В наших работах конца семи десяты х годов была сделана попытка теоретически оценить остаточный член второго порядка . Ит оги подведены в статье [10] и монографии [11, § 2.2, с .37-45]. Справедливо равенство H(n, t) = exp ( - t 2 ).(1 + f(t)/n + g(n,t)/ n 2 ), где f(t) = t 2 (1/2 - t 2/ / 6 ). Целью указанных работ было получение равномерных по n, t оценок остаточного члена второго порядка g(n,t) сверху и снизу в области , задаваемой условиями 0 < t n - 1/2 < А , 0 < t < t max , n $ n 0 . (2) С помощью длинн ых цепочек оценок остато чных членов в формулах , получаемых при преобразовании форм улы (1) к предельному виду , сформулированная выш е цель была достигнута , и для различных наборов параметров А , t max , n 0 получены равномерные по n, t оценки остаточного члена второго порядка g(n,t ) сверху и снизу в области (2). Так , например , при А = 0,5, t max = 1,73, n 0 = 8 нижняя граница равна (- 0,71), а верхн яя есть 2,65. Основными недостатками такого подхода я вляются являются , во первых , зависимость оцено к от параметров А , t max , n 0 , зада ющих границы областей , во-вторых , завышение оценок , иногда в сотни раз , обусловленное желанием получить равномерные оценки по области (оценкой реальной погрешности в точке является значение следующего члена асимптоти ческого разложения ). Поэтому при состав лении рассчитанно й на практическое использование методики [12] пр оверки однородности двух выборок с помощью статистики Смирнова мы перешли на другую методологию (назовем ее "методологией заданной точности "), которую кратко можно описать с ледующим образом. а ) Выбирается достаточно малое число р , например р = 0,05 или р = 0,20. б ) Приводятся точные значения H(n, t) для вс ех значений n таких , что | H(n, t) - exp ( - t 2 ) | > p exp ( - t 2 ) . в ) Если же п оследнее неравенство не выполнено , то предлаг ается по льзоваться вместо H(n, t) предельным зн ачением exp ( - t 2 ). Таким образом , принятая нами в метод ике [12] методология предполагает интенсивное исполь зование вычислительной техники . Результат расчето в - граничные значения объемов выборок n(p,t) такие , что при меньших значениях выброк р екомендуется пользоваться точными значениями , а при больших - предельными , - описывается таблицей , а не формулой . Отметим , что при постр оении реальных таблиц не обойтись без выб ора того или иного конкретного значения р , зада ю щего объемы таблиц . 3. Оценки скорости сходимости Теоретические оцен ки скорости сходимости в различных задачах математической статистики иногда формулируются в весьма абстрактном виде . Так , в 60-70-х годах была популярна задача оценки скорост и сходимости распределения классической ста тистики омега-квадрат (Крамера-Мизеса-Смирнова ). Для максимума модуля допредельной и предельной фу нкций распределения этой статистики различные авторы доказывали , что для любого e>0 существу ет константа С (e) такая , что упомя н утый максимум не превосходит С (e) n - w + e . Прогресс состоял в увеличении константы w. Сформулированный выше результат был доказал последовательно для w = 1/10, 1/6, 1/5, 1/4, 1/3, 1/2 и 1 (подробнее история этих исследований рассказана в § 2.3 монографи и [11]). Конечно , все эти исследования не мог ли дать конкретных практических рекомендаций . Однако необходимой исходной точкой является само существование предельного распределения . Пре дставим себе , что некто , не зная , что у распределения Коши нет математи ческого ожидания , моделирует выборочные средние ариф метические наблюдений из этого распределения . Ясно , что его попытки оценить скорость сх одимости выборочных средних к пределу обречен ы на провал. Последовательное улучшение теоретических оц енок скорости с ходимости дает надежду на быструю реальную сходимость . Действительно , как показано в статье [13], предельным распр еделением для указанной статистики можно поль зоваться уже при объеме выборки , равном 4. 4. Использование д атчиков псевдослучайных чисел Если же п редельное распределение известно то возникает возможность изучить скорость сходимости числен но методом статистических испытаний (Монте-Карло ). Именно так поступила Г.В.Рыданова в своей диссертации [14], реализуя описанную выше "методоло гию заданной т очности ". ПРи этом возникли две проблемы. Во-первых , откуда известно , что скорость сходимости монотонна ? Если при данном объ еме выборки различие мало , то будет ли оно мало и при дальнейших ? Иногда откло нения допредельного распределения от предельного объя сняются довольно сложными причинами . Так , для распределения хи-квадрат они свя заны с до сих пор не решенными теорет ико-числовыми проблемами о числе целых точек в эллипсоиде растущего диаметра . "Подводные камни ", связанные с распределением хи-квадрат . разо б раны в статье М . Мирвалиев а М.С.Никулина [15]. Во-вторых , с помощью датчиков псевдослуча йных чисел получаем допредельные распределения с погрешностью , которая может преуменьшать различие . Поясним мысль аналогией . Растущий си сгнал измеряется с погрешностям и . Когда можно гарантировать , что его величина навер няка превзошла заданную границу ? Не будем здесь обсуждать известные подходы к решению этой задачи . Проблема качества датчиков псевдослучайных чисел продолжает оставаться открытой . В ж урнале "Заводская л аборатория " с 1985 г . по 1993 г . продолжалась активная дискуссия по э той проблеме , завершившаяся статьей С.М.Ермакова [16] и нашим комментарием [17] к нему . Для моде лирования в пространствах фиксированной размерно сти датчики псевдослучайных чисел решают п о ставленные задачи . Но для рассмат риваемых нами задач размерность не фиксирован а - мы не знаем , при каком конкретно об ъеме выборки можно переходить к предельному распределению согласно "методологии заданной точности ". Нужны дальнейшие работы по изучению к ачества датчиков псевдослучайных чисел в задачах неопределенной размерности . Поскольку критиков датчиков обычно обвиняют в том , что они сами их не используют , отмечу , что мы применяли этот инструментарий при изучении помех , создаваемых электровозами [11], при изучении статистических критерие в проверки однородности двух выборок [18]. 5. А нужна ли вообще асимптотика ? В журнале "Заво дская лаборатрия " в последние годы опубликова н ряд работ Б.Ю.Лемешко . Они посвящены акту альному направлению прикладной статисти ки , связанному с интенсивным использованием вычисл ительной техники для изучения свойств статист ических процедур . В диссертации Б.Ю.Лемешко [19] по дводятся итоги более чем двадцатилетней (с 1973 г .) работы автора (в составе группы исс ледователей под руково д ством проф.В.И.Д енисова ). Как уже отмечалось , математические метод ы в статистике обычно позволяют получать лишь асимптотические результаты , и для перено са выводов на конечные объемы выборок при ходится применять вычислительные методы . Диссерта нтом разработ ан и успешно применяется оригинальный подход , основанный на интенсивном использовании современной вычислительной техник и . Основная идея такова : в качестве альтер нативы асимптотическим методам математической ст атистики используется анализ результатов стати с тического моделирования (порядка 2000 ис пытаний ) выборок конкретных объемов (200, 500, 1000). При э том анализ предельных распределений заменяется на анализ распределений соответствующих статис тик при указанных объемах выборок. К достоинствам подхода диссе ртанта относится возможность замены теоретических и сследований расчетами . Разработанная в исследоват ельском коллективе программная система дает в принципе возможность численно изучить свойст ва любого статистического алгоритма для любог о конкретного распре д еления результат ов наблюдений и любого конкретного объема выборки . К недостаткам подхода Б.Ю.Лемешко о тносится зависимость от свойств датчиков псев дослучайных чисел (проблемам качества таких д атчиков посвящена упомянутая выше дискуссия в журнале "Заводска я лаборатория " в 1985-1993 гг .), а также - что более важно - неизвес тность предельного распределения (и даже само го факта его существования ), а потому нево зможность обоснованного переноса полученных выво дов на объемы выборок , отличные от исследо ванных . Поэ т ому с точки зрения теории математической статистикии полученные д иссертантом результаты следует пока рассматриват ь как правдоподобные (а не доказательные , как в классической математической статистике ). Кроме того , они принципиально неточные . Даже в наибо лее благоприятных условиях отклонения смоделированного распределения от теоретического предельного , по нашей оценке , может иметь порядок (1/2000 + 1/1000) 1/2 = 0,038. Это означает , в частности , что процентные точки , сответствующие уровням зна чимости 0,05 и особенно 0,01, рассчитанные Б.Ю.Лемешк о , могут сильно отличаться от соответствующих процентных точек предельных распределений . О чевидно , следующий этап работ - изучение точнос ти полученных в диссертации выводов , прежде всего приближений и процентных точе к. Однако сразу все не сделаешь . Поэтом у Б.Ю.Лемешко совершенно прав , развивая новые компьютерные подходы к давним задачам прик ладгной математической статистики . В частности , весьма полезными и интересными являются ре зультаты , касающиеся непараметрических критерие в согласия . Весьма интересным и полезным п редставляется также метод построения оптимальног о группирования , в частности , при использовани и критериев типа хи-квадрат . Важен результат о неробастности (неустойчивости ) оценок максима льного правдоподоб и я по негруппирован ным данным . Надо поддержать идею использовани я одновременно двух оценок по группированным данным с использованием как оптимального , так и раввновероятного группирования . Этот подход диссертанта соответствует современным иде ям в области у стойчивости (робастнос ти ) статистических выводов , в частности , подход у монографии [11]. На автора данной работы большое впеч атление произвела статья Б.Р.Левина и Н.О.Демидо вича [20], в которой сравниваются два плана к онтроля надежности . Оказывается , чтоп ри об ъемах выборки , меньших 150, лучше первй план , а при больших 150 - второй . Значит , если бы по методу Б.Ю.Лемешко сравнивались эти планы при n=100, то лучшим был бы признан первы й план , что неверно . Другая относящаяся к делу ассоциация - из весьма со держательной монографии [21]. Будем суммировать бесконечный ряд с членами z n = 1/ n . Поскольку чл ены его убывают , то обычно используемые ал горитмы остановят вычисления на каком-то шагу . А сумма-то - бесконечна ! Итак , Б.Ю.Лемешко предложил интересный инс тр ументарий и проделал полезную работу , но его подход никоим образом не являет ся панацеей. 6. Необходимость с координированных исследований В прикладной м атематической статистике давно назрела необходим ость координации новых исследований и критиче ского анал иза накопленных результатов . В статье [22] была сформулирована и обоснована программа превращения этой сферы научно-практич еских исследований в организованную отрасль н ауки наподобие метрологии . В статье [23] рассказа но о первых шагах такой работы , предпр и нятой в рамках Центра статистиче ских методов и информатики и Российской а ссоциации статистических методов . К сожалению , развитие общей экономической ситуации в Росс ии ставит под сомнение не только возможно сть подобных нововведений , но и само сущес твование современной науки . Работа выполнена при поддержке Российского фонда фундаменталь ных исследований (проект 97-06-80033). Литература 1. Эльясберг П.Е . Измерительная информация . Сколько ее нужно , как ее обрабатывать ? - М .: Наука , 1983. 208 с . 2. Гнеденко Б .В ., Колмогоров А.Н . Пре дельные распределения для сумм независимых сл учайных величин . - М.-Л .: ГИТТЛ , 1949. 264 с. 3. Ибрагимов И.А ., Хасьминский Р.З . Асимптот ическая теория оценивания . -М .: Наука , 1979. 528 с. 4. Смирнов Н.В . / Бюлл . МГУ , Сер.А , 1939, т .2 , № 2, с .3-14. 5. Гнеденко Б.В ., Королюк В.С ./ Докл . АН СССР , 1951, т .80, № 4, с .525-528. 6. Боровков А.А . / Изв . АН СССР , Сер . матем ., 1962, т .26, с .605-624. 7. Калинин В.М . / Труды Матем . ин-та им . В.А.Стеклова АН СССР , 1968, т .104, с .88-134. 8. Калинин В.М . / Труды Матем . ин-та им . В.А.Стеклова АН СССР , 1970, т .111, с .163-194. 9. Калинин В.М ., Шалаевский О.В . / Записки научн . семинаров Ленингр . отд-ния Мате м . ин-та им . В.А.Стеклова АН СССР , 1972, т .26, с . 3-152. 10. Орлов А.И ., Орловский И.В . / Ст атист ические методы . Межвузовский сборник научн . трудов . - Пермь : Пермский гос . ун-т , 1978, с .100-109. 11. Орлов А.И . Устойчивость в социально-экон омических моделях . - М .: Наука , 1979. - 296 с . 12. Методика . Проверка однородности двух в ыборок параметров продук ции при оценке ее технического уровня и качества . Первая редакция . - М .: Всесоюзный научно-исследовательский институт стандартизации Госстандарта СССР , 1987. - 116 с . 13. Залесский Б.А ., Ольшевская О.В . / Заводска я лаборатория . 1989. Т . 55. № . 7. С . 10 3-105. 14. Рыданова Г.В . Некоторые вопросы статист ического анализа случайных бинарных векторов . Автореф . дис . канд . физ.-мат . наук . - М .: 1988. - 16 с. 15. Мирвалиев М ., Никулин М.С . / Заводская лаборатория . 1992. Т .58. № . 3. С . 52- 58. 16. Ермаков С.М . / Заводская лаборатория . 1993. Т . 59. № . 7. С . 48-50. 17. Орлов А.И . / Заводская лаборатория . 1993. Т . 59. № . 7. С . 51-51. 18. Камень Ю.Э ., Камень Я.Э ., Орлов А.И . / Заводская лаборатория . 1986. Т . 52. № . 12. С . 55-57. 19. Лемешко Б.Ю . Статистический анал из группированных , частично группированных и не группированных наблюдений одномерных непрерывных случайных величин . Автореф . дис . докт . техн . наук . - Новосибирск : 1997. - 46 с. 20. Левин Б.Р ., Демидович Н.О . / Надежность средств связи . - Киев : Техн iка , 197 6, с .59-72. 21. Блехман И.И ., Мышкис А.Д ., Пановко Я.Г . Механика и прикладная математика : Логика и особенности приложений математики . - М .: Наука , 1983. - 328 с. 22. Орлов А.И . / Заводская лаборатория . 1992. Т .58. № . 1. С . 67-74. 23. Орлов А.И . / Заводска я лаборатория . 1997. Т . 63. № . 3. С . 55-62.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
Генерал, оторвавший ручку Уаза, никогда не стряхивает.
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2016
Рейтинг@Mail.ru