close

Вход

Забыли?

вход по аккаунту

- Иткина Анна Яковлевна

код для вставкиСкачать
РГУ нефти и газа имени И.М. Губкина
Коррекция
гетероскедастичности. Метод
взвешенных наименьших
квадратов
Иткина Анна Яковлевна,
ст. преподаватель кафедры ЭНиГП
Список лекций
Метод наименьших квадратов и его
применение
Проверка гипотез о качестве уравнения
регрессии
Адекватность регрессионной модели
Проблемы автокорреляции и
гетероскедастичности. Методы обнаружения
Коррекция гетероскедастичности. Метод
взвешенных наименьших квадратов
Предпосылки МНК
• M (ε) = 0
• D (ε) = const
• corr (εi, εj) = 0, i ≠ j
• ε независимы от объясняющих переменных
• модель линейна относительно параметров
Дополнительные условия
Гетероскедастичность
14
12
10
8
6
4
2
0
0
100
-300
Доверительный
интервал неверный
90
15
0
30
90
-30
30
0
-3
-1
0
-150 -90
0
50
300
-9
600
150
200
Дисперсия
случайных отклонений
неодинакова
Гетероскедастичность
Сколько%
наблюдений
Сколько
наблюдений
может выйти за
На графике 80
наблюдений
верхнююинтервала?
границу?
границы
600
300
Построен 95%
доверительный
интервал
0
0
-300
100
200
Классический метод
наименьших квадратов
n
ei
2
min
600
i 1
300
Каждый остаток
имеет одинаковый
вес
0
0
100
200
-300
Отклонения с большей дисперсией
сильнее влияют на остаточную
сумму квадратов
Взвешенный метод наименьших
квадратов
Основная идея
Меньше дисперсия
– больше точность
600
300
0
0
100
200
-300
Пусть для каждого
хi известна его
дисперсия σi2
Взвесим наблюдения с
коэффициентом 1
i
Цель – D (ε) = const
Дисперсия
преобразованного
D
отклонения
2
D
i
i
M
i
1
2
i
2
i
i
2
M
i
M
i
1
i
i
1
2
i
M
i
M
i
i
Предполагалось,
что i известны!
i
M
i
M
M
0
i
i
2
1
i
2
i
2
i
1
Взвешенный МНК
для парной регрессии
Меньше дисперсия
1
– больше вес
i
Вычисляем
xi yi 1
, ,
i
i
i
Строим регрессию вида
Возвращаемся к y i
k xi
исходным переменным
b
yi
i
k
xi
b
1
i
i
Оценки коэффициентов
k и b теперь эффективные!
Взвешенный МНК
для нелинейной относительно переменной
регрессии
Рассмотрим
1. Вычисляем
конкретный пример
2. Строим регрессию
yi
k1
i
3. Возвращаемся к
исходным переменным
xi
2
i
yi
k1 xi 2
k2 ln
xi yi 1
, ,
i
i
xi
i
b
i
k2 ln( xi ) b
1
i
Взвешенный МНК
для множественной регрессии
Рассмотрим две
переменные x1 и x2 1. Вычисляем
yi
2. Строим регрессию вида
3. Возвращаемся к
исходным переменным
i
yi
k1
xi1
xi1 xi 2 yi 1
,
, ,
i
k2
i
i
xi 2
i
k1 xi1 k2 xi 2
b
i
i
1
i
b
Взвешенный МНК
для множественной регрессии
В матричном виде тоже
corr (εi, εj) = 0, i ≠ j
для двух переменных x1 и x2 Y
Y
y1
1 x11 x12
y2
1 x21 x22
...
yn
, X=
... ... ...
1 xn1 xn 2
b0
,B
b1 , e
b2
X B
D( 1 ) ...
e1
e2
...
,
en
Коэффициенты множественной
регрессии можно оценить
B (X T
01 n
0 2 1 ... 0 2 n
... ...
... ...
0 n 1 ...
... D
D(( nn))
1
X) 1XT
1
Y
Взвешенный МНК
дисперсии отклонений неизвестны
Шаг 1. Оцениваем регрессию y i
f ( x1 ; x2 ;...; xn )
Шаг 2. Проводим диагностику
модели, исследуя остатки
Шаг 3. Строим графики
или вспомогательную
регрессию
Оцениваем дисперсию
случайных отклонений
Взвешенный МНК
дисперсии отклонений неизвестны
Делаем
предположения о
величине i 2
2
i
2
xi , где
2
2
i
2
xi 2 , где
2
const
const
e2
90
2
i
2
y i , где y i
f ( x1; x2 ;...; xn )
60
30
0
0
10
20
xi
Подсказка - тест Уайта или графики
Взвешенный МНК
дисперсии отклонений неизвестны
Пусть
2
i
1. Вычисляем
2
xi , где
2
const
xi
yi
1
,
,
xi xi xi
yi
2. Оцениваем регрессию вида xi
3. Возвращаемся к
yi
исходным переменным
k xi
k
b
xi
xi
b
1
xi
Взвешенный МНК
дисперсии отклонений неизвестны
Пусть
2
i
1. Вычисляем
2
xi 2 , где
2
const
xi yi 1
, ,
xi xi xi
yi
2. Оцениваем регрессию вида xi
3. Возвращаемся к
yi
исходным переменным
k xi
xi
k
xi
b
1
b
xi
Взвешенный МНК
дисперсии отклонений неизвестны
Пусть
2
i
2
y i , где y i
xi1
1. Вычисляем
yi
,
xi 2
,
f ( x1; x2 ;...; xn )
yi
yi
1
,
yi
yi
2. Оцениваем
новую регрессию вида y i
3. Возвращаемся к
yi
исходным переменным
yi
k1
xi1
yi
k2
xi 2
b
yi
k1 xi1 k2 xi 2
1
yi
b
Диагностика новой модели
Дисперсия,
на взгляд,
600
300
неодинакова
0
0
100
200
е
-300
250
Какие тесты позволяют
проверить постоянство
дисперсии?
0
1
-250
-500
10
19
28
37
46
55
64
73
Тест Уайта в Excel
Вывод: на уровне
значимости 5% гипотезу
о том, что дисперсия
случайных отклонений
постоянна, отвергаем!
Анализ остатков модели
е
2
corr(x, x2) = 0.97
200000
100000
0
100
Регрессия – значима!
200
Все переменные
незначимы!
300
y оцен
Анализ остатков модели
е
2
е
200000
200000
100000
100000
0
0
0
100
Первый график
(х, е2) более
наглядный
200
х
0
2
20000
40000
Принимаем решение
попробовать ВНК по
переменной x
х
2
ВНК в Excel
600
300
0
0
-300
100
200
Тест Голдфелда-Квандта
Шаг 1. Упорядочить
выборку по переменной,
20
Шаг 2. Разделить выборку
на 3 части, для n = 38
(14;10;14) или (15;8;15)
Шаг 3. По 1-й и 3-й частям
построить модели
10
0
0
10
20
по которой наблюдается
рост дисперсии
F
S12 ( m
2
S2 ( m
Шаг 4. Вычислить
статистику Фишера
k)
k)
Тест Голдфелда-Квандта
F
S12 ( m k )
2
S2 ( m k )
S12
2
S2
где S12 большая, а S22
меньшая остаточные
суммы квадратов; m –
объем 1-й и 3-й частей
выборки; k – количество
переменных
Шаг 5. Находим
табличное значение
статистики Фишера
F (0.05; m k; m k )
Шаг 6. Сравниваем
табличное и расчетное
значения F статистики
и принимаем решение
Тест Голдфелда-Квандта
S12
509.31
F
S22
370.07
509.31
1.38
370.07
m k 15 4 11
F (0.05;11;11) 2.82
P(1.38;11;11) 0.30
Гипотеза: дисперсия
случайных отклонений
постоянна
Как при сравнении
табличного и расчетного
значений F статистики,
так и по вероятности
0.30 > 0.05 гипотезу
принимаем
Гетероскедастичность –
методы борьбы
Ввод в модель потерянных
объясняющих переменных, в
том числе фиктивных
Взвешенный метод
ВНК
наименьших квадратов
20
10
0
0
10
20
Коррекция модели
Гетероскедастичность –
методы борьбы
30
Коррекция
доверительных
интервалов без
20
10
изменения модели
0
0
10
20
Теорема Гаусса-Маркова
Если выполнены все
условия, то оценки
модели будут
Несмещенные
Состоятельные
Эффективные
СПАСИБО ЗА ВНИМАНИЕ!
1/--страниц
Пожаловаться на содержимое документа