План 1. Авторегрессионный процесс первого порядка 2. Оценивание в модели с авторегрессией 3. Процедура Кохрейна-Оркатта ( Cochrane - Orcutt ) 4. Процедура Хилдрета-Лу ( Hildreth - Lu ) 5. Процедура Дарбина ( Durbin ) 6. Тест Дарбина-Уотсона на наличие или отсутствие корреляции по времени 7. Список используемой литературы Корреляция по времени Авторегрессионный процесс первого порядка При анализе временных рядов часто приходится учитывать ста тистическую зависимость наблюдений в разные моменты вре мени. Иными словами, для многих временных рядов предположе ние о некоррелированности ошибок не выполняется. В этом раз деле мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка (точное определение будет дано ниже). Применение обычного метода наимень ших квадратов к этой системе дает несмещенные и состоятель ные оценки параметров, однако можно показать (см., например, Johnston and DiNardo , 1997), что получаемая при этом оценка дисперсии оказывается смещенной вниз, что может отрицательно сказаться при проверке гипотез о значимости коэффициентов. Образно говоря, МНК рисует более оптимистичную картину ре грессии, чем есть на самом деле. Рассмотрим модель ( Фо рмула 1) где t -я компонента вектора y представляет значение зависимой переменной в момент времени t , t = l ,..., n . Будем для опре деленности считать, что первым регрессором в X является кон станта. Запишем подробнее уравнение для наблюдения в момент времени t : ( Формула 2) где x ' t = (1, x t 2 ,..., x t k ) — t -я строка матрицы Х . Один из наиболее простых способов учета коррелированности ошибок (в разные моменты времени) состоит в предположении, что случайная последовательность t , t = 1,…, n о бразует ав торегрессионный процесс первого порядка. Это означает, что ошибки удовлетворяют рекуррентному соотношению ( Формула 3 ) где , t — l ,..., n — последовательность независимых нор мально распределенных случайных величин с нулевым средним и постоянной дисперсией , а p — некоторый параметр, назы ваемый коэффициентом авторегрессии (| p | < 1) . Строго говоря, для полного описания модели надо определить - Будем считать, что — нормальная случайная величина с нулевым средним и дисперсией , не зависящая от , t = 1,..., n . Из дальнейшего станет ясно, почему у именно такие параметры. Взяв математическое ожидание от обеих частей ( Ф ормула 3 ), получим E = p E , откуда следует, что E = 0 , t = l ,..., n . По скольку выражается через ( формула 3 ), то и независимы. Поэтому Легко проверяется, что если , то , t =1,…, n . ( Формула 4) Умножая ( Формула 4 ) на и вновь пользуясь независимостью и , получим (Формула 5) Аналогично и вообще (Формула 6) Таким образом, последовательность образует стационар ный случайный процесс. Именно этим обстоятельством дикто вался выбор параметров начальной величины . На самом деле, с течением времени зависимость от быстро уменьшается, по этому в большинстве книг по эконометрике проблему начальных условий для просто не рассматривают, неявно подразумевая, что процесс ( Формула 3 ) при любом начальном значении быстро сходится к стационарному. Отме чу также, что условие | p | < 1 является необходимым для стационарности. Из ( Формула 5 ) следует, что , т. е. p есть в точности коэффициент корреляции между двумя соседними ошибками. Пользуясь ( Формула 6 ), можно выписать ковари ационную матрицу случайного вектора : Оценивание в модели с авторегрессией Проблему оценивания системы ( Формула 1 ) рассмотрим отдельно для случая, когда коэффициент p известен, и отдельно — когда не известен. 1. Значение p известно . В этом случае для оценивания си стемы ( Формула 1 ) можно применить обобщенный метод наименьших квадратов. В данном случае нетрудно найти матрицу P , для которой . Здесь весьма просто догадаться, какое линейное преобразование исходной системы ( Формула 1 ) надо про вести, чтобы получить классическую модель. Напишем ( Формула 2 ) для момента времени умножим обе части на p и вычтем почленно из ( Формула 2 ) . Тогда с учетом ( Формула 3 ) получим (Формула 7 ) П ри t =1 достаточно обе части уравнения ( Формула 3 ) умножить на : (Формула 8) В системе ( Формула 7 ), ( Формула 8 ) ошибки удовлетворяют условиям уже обычной регрессионной модели. Действительно, в ( Формула 7 ) случай ные величины t =2, … , n независимы и имеют постоян ную дисперсию , а в ( Формула 8 ) ошибка не зависит от t =2, … , n и, согласно ( Формула 4 ), также имеет дисперсию . На практике часто опускают преобразование ( Формула 8 ), игнори руя тем самым первое наблюдение. С одной стороны, благодаря этому, преобразование исходной модели ( Формула 1 ) становится едино образным. В частности, для получения оценки параметра до статочно оценку свободного члена в ( Формула 7 ) разделить на (1 — p ) . С другой стороны, отбрасывание первого наблюдения может при вести к потере важной информации, особенно в выборках неболь шого размера. 2. Значение p неизвестно . Ситуации, когда параметр ав торегрессии р известен, встречаются крайне редко. Поэтому воз никает необходимость в процедурах оценивания при неизвестном р . Как правило, они имеют итеративный характер. Опишем три наиболее употребительные. Мы не будем устанавливать сходи мость этих процедур, практика их применения показала, что они достаточно эффективны. Процедура Кохрейна-Оркатта ( Cochrane - Orcutt ). На чальным шагом этой процедуры является применение обычного метода наименьших квадратов к исходной системе ( Формула 1 ) и полу чение соответствующих остатков . Далее, 1) в качестве приближенного значения p берется его МНК- оценка r в регрессии 2) проводится преобразование ( Формула7 ) (или ( Формула 7 ), ( Формула8 ))при p = r и находятся МНК-оценки вектора параметров ; 3) строится новый вектор остатков е = у — X /3; 4) процедура повторяется, начиная c п ункта 1). Процесс обычно заканчивается, когда очередное приближение p мало отличается от предыдущего. Иногда просто фиксируется количество итераций. Процедура Кохрейна-Оркатта реализо вана в большинстве эконометрических компьютерных программ. Процедура Хилдрета-Лу ( Hildreth - Lu ) . Суть процедуры достаточно проста. Из интервала (— 1,1) возможного измене ния коэффициента p берутся последовательно некоторые значе ния (например, числа с постоянным шагом 0.1 или 0.05) и для каждого из них проводится оценивание преобразованной системы ( Формула7 ). Определяется то значение этого параметра, для которого сумма квадратов отклонений в ( Формула7 ) минимальна. Затем в не которой окрестности этого значения устраивается более мелкая сетка и процесс повторяется. Итерации заканчиваются, когда будет достигнута желаемая точность. Время работы процедуры, очевидно, сокращается, если есть априорная информация об обла сти изменения параметра p . Процедура Дарбина ( Durbin ). Преобразованная система ( Формула 7 ) переписывается в следующем виде: , т.е. включается в число регрессоров, а p — в число оцени ваемых параметров. Для этой системы строятся обычные МНК- оценки r и параметров p и p соответственно. В качестве оценки берут / r . Можно улучшить качество оценок , под ставив полученное значение r в систему ( Формула 7 ), и найти новые МНК-оценки параметров . Тест Дарбина-Уотсона на наличие или отсутствие корреляции по времени Большинство тестов на наличие корреляции по времени в ошиб ках системы ( Формула 1 ) используют следующую идею: если корреляция есть у ошибок , то она присутствует и в остатках , получаемых после применения к ( Формула 1 ) обычного метода наименьших квадра тов. Здесь мы рассмотрим только одну реализацию этого под хода. Пусть нулевая гипотеза состоит в отсутствии корреляции, т.е. : р=0 . В качестве альтернативной может выступать либо просто : « не », либо односторонняя гипотеза, напри мер, : p > 0 . Наиболее широко используется тест Дарбина-Уотсона ( Dur - bin - Watson ). Он основан на статистике (Формула 9) Будем считать, что постоянный член включен в число регрес соров. Тогда нетрудно проверить, что эта статистика тесно свя зана с выборочным коэффициентом корреляции между и . Действительно, проводя элементарные выкладки, имеем ( Формула 10 ) Предполагая число наблюдений достаточно большим, можно считать, что приближенно выполнены следующие равенства : и (поскольку выполнено точное равенство в силу нали чия постоянного регрессора). Поэтому выборочный коэффициент корреляции r между и можно приближенно представить в виде Наконец, пренебрегая в (6.14) слагаемыми и по сравне нию с общей суммой , окончательно получим (Формула 11) Понятен и содержательный смысл статистики DW : если между и имеется достаточно высокая положительная кор реляция, то в определенном смысле и близки друг к другу и величина статистики DW мала. Это согласуется с ( Формула 11 ): если коэффициент r близок к единице, то величина DW близка к нулю. Отсутствие корреляции означает, что DW близка к 2. Таким образом, если бы распределение статистики DW было известно, то для проверки гипотезы : p = 0 против альтернативы: : p >0 можно было бы для заданного уровня значимости (напри мер, для 5 % -уровня) найти такое критическое значение d * , что если DW > d *, то гипотеза не отвергается, в противном слу чае она отвергается в пользу . Проблема, однако, состоит в том, что распределение DW зависит не только от числа наблю дений n и количества регрессоров k , но и от всей матрицы X , и, значит, практическое применение этой процедуры невозможно, поскольку нельзя же составить таблицу критических значений d * для всех матриц X ! Тем не менее, Дарбин и Уотсон доказали ( Durbin , Watson , 1951), что существуют две границы, обычно обозначаемые и > ( u = upper — верхняя, l = low — нижняя), которые зависят лишь от n , k и уровня значимости (а следовательно, могут быть затабулированы) и обладают следую щим свойством: если DW > , то DW > d * и, значит, гипотеза не отвергается, а если DW < , то DW < d *, и гипотеза отвергается в пользу . В случае < DW < ситуация не определенна, т. е. нельзя высказаться в пользу той или иной гипо тезы. Если альтернативной является гипотеза об отрицательной корреляции : p <0 , то соответствующими верхними и ниж ними границами будут 4 — и 4 — . Целесообразно представить эти результаты в виде следующей таблицы. Значение статистики DW Вывод 4 - < DW < 4 Гипотеза отвергается, есть отрицательная корреляция 4 - < DW < 4 - Неопределенность < DW < 4 - Гипотеза не отвергается < DW < Неопределенность 0 < DW < Гипотеза отвергается, есть положительная корреляция . Наличие зоны неопределенности, конечно, представляет опре деленные трудности при использовании теста Дарбина-Уотсона. Ее ширина может быть довольно значительной. К примеру, при n = 19, k = 3 она образует интервал (0.97, 1.68). Поэтому многие дальнейшие исследования были направлены на построение таких тестов, которые сужают зону неопределенности . Список используемой литературы 1) Эконометрика “ Начальный курс ” Я.Р Магнус, П.К. Катышев, А.А Пересецкий