Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Лекция 8. Множественная линейная регрессия
Грауэр Л.В., Архипова О.А.
CS Center
Санкт-Петербург, 2014
Грауэр Л.В., Архипов...
Cодержание
Содержание
1 Спецификация модели
2 Метод наименьших квадратов
3 Свойство оценок метода наименьших квадратов
4 П...
Спецификация модели
Спецификация модели
Рассмотрим следующую модель наблюдений, связывающую значения
некоторого наблюдаемо...
Спецификация модели
Основные предположения регрессионного анализа, которые относятся
к случайным компонентам εi , i = 1, ....
Спецификация модели
Модель наблюдений (1) можно записать в матричном виде:
Y = Xβ + ε, (2)
где Y = (y1, . . . , yn)T , β =...
Метод наименьших квадратов
Метод наименьших квадратов
В модели наблюдений (1), (10) неизвестными являются параметры
σ, β0,...
Метод наименьших квадратов
Оценки метода наименьших квадратов ˆβ неизвестных параметров β
находят из системы уравнений:
(X...
Метод наименьших квадратов
Разности
yi − ˆy(xi ) = ˆεi , i = 1, . . . , n, (7)
которые не объясняются построенной эмпириче...
Свойство оценок метода наименьших квадратов
Свойство оценок метода наименьших квадратов
Оценки метода наименьших квадратов...
Свойство оценок метода наименьших квадратов
Оценим дисперсию одиночного наблюдения σ2.
Статистика
S2
=
n
i=1
(yi − ˆyi )2
...
Свойство оценок метода наименьших квадратов
Лемма 1
Пусть выполнены все условия из первой и второй групп предположений
рег...
Доверительные интервалы
Построение доверительных интервалов и проверка
статистических гипотез
При выполнении всех условий ...
Доверительные интервалы
Из формулы (9) следует формула для доверительного интервала с
уровнем доверия 1 − α для любого пар...
Доверительные интервалы
Важное значение имеет проверка гипотез статистической значимости
найденных оценок βj , j = 0, 1, ....
Доверительные интервалы
Аналогичным образом можно проверить более общую гипотезу вида
H0: βj = β
(0)
j . Рассуждая таким ж...
Доверительные интервалы
В линейном регрессионном анализе коэффициентом детерминации
R2 называется квадрат коэффициента кор...
Доверительные интервалы
Лемма 3
Пусть выполнены обе группы основных предположений линейного
регрессионного анализа, тогда ...
Доверительные интервалы
Построенная линейная регрессия статистически значима на уровне α
тогда и только тогда, когда гипот...
Доверительные интервалы
Гипотеза H0: β1 = . . . = βk = 0 является частным случаем общей
линейной гипотезы:
H0 : βk1 = . . ...
Нелинейные модели, сводяшиеся к ленийным
Нелинейные регрессионные модели, сводяшиеся к
ленийным при помощи замены переменн...
Нелинейные модели, сводяшиеся к ленийным
Мультипликативная модель: Y = αXβε.
α, β — неизвестные параметры, ε — мультиплика...
Нелинейные модели, сводяшиеся к ленийным
Обратная экспоненциальная модель: Y =
1
1 + αeβ1X+ε
.
ln(1/Y − 1) = ln α + β1X + ...
Нелинейные модели, сводяшиеся к ленийным Информационные критерии Акаике и Шварца
Информационные критерии Акаике и Шварца
К...
Нелинейные модели, сводяшиеся к ленийным Информационные критерии Акаике и Шварца
ˆy = 6 + 0.5x
Грауэр Л.В., Архипова О.А. ...
Нелинейные модели, сводяшиеся к ленийным Информационные критерии Акаике и Шварца
Последствия отклонений от стандартных пре...
Мультиколлинеарность
Мультиколлинеарность
Рассмотрим следующую модель наблюдений, связывающую значения
некоторого наблюдае...
Мультиколлинеарность
Предположим наблюдается мультиколлинеарность столбцов матрицы
X и как следствие плохая обусловленност...
Мультиколлинеарность
Наиболее детальным показателем наличия проблем, связанных с
мультиколлинеарностью, является коэффицие...
Мультиколлинеарность
Если фактор xj имеет небольшой разброс значений, то вектор Xj будет
коррелировать с вектором X0. Для ...
Мультиколлинеарность
Параметры модели (11) связаны с параметрами исходной модели (10)
следующими соотношениями
βj =
βj
1
n...
Анализ остатков
Анализ остатков
Проверим выполнение стандартных предположений о модели
наблюдений. Рассмотрим специальные ...
Анализ остатков
Рассмотрим остатки построенной регрессионной модели
ei = yi − ˆyi
Причем D(ei ) = σ2(1 − hii ), i = 1, . ....
Анализ остатков
Графический анализ адекватности
График зависимости отстатков ci от оцененных значений ˆyi = X ˆβ
позволяет...
Анализ остатков
График зависимости ci от значений объясняющих переменных xij
График зависимости остатков от номера наблюде...
Анализ остатков
Критерии проверки гетероскедастичности
Нулевая гипотеза
H0 : D( i ) = . . . = D( i ) = σ2
, i = 1, . . . ,...
Анализ остатков
Составим статистику
F =
RSS2
RSS1
Если верна нулевая гипотеза и выполняются предположения о
нормальности о...
Анализ остатков
Критерий Вайта
Рассмотрим вспомогательную модель
e2
i = α0 +
k
j=1
αj xij +
k
j=1
βj x2
ij + νi , i = 1, ....
Анализ остатков
Критерий Рэмси, RESET
Используется для проверки функциональной формы модели.
Рассмотрим вспомогательную мо...
Prochain SlideShare
Chargement dans…5
×

Математическая статистика: Множественная линейная регрессия. Анализ остатков

1 586 vues

Publié le

  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Математическая статистика: Множественная линейная регрессия. Анализ остатков

  1. 1. Лекция 8. Множественная линейная регрессия Грауэр Л.В., Архипова О.А. CS Center Санкт-Петербург, 2014 Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 1 / 38
  2. 2. Cодержание Содержание 1 Спецификация модели 2 Метод наименьших квадратов 3 Свойство оценок метода наименьших квадратов 4 Построение доверительных интервалов и проверка статистических гипотез 5 Нелинейные регрессионные модели, сводяшиеся к ленийным при помощ замены переменных Информационные критерии Акаике и Шварца 6 Мультиколлинеарность 7 Анализ остатков Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 2 / 38
  3. 3. Спецификация модели Спецификация модели Рассмотрим следующую модель наблюдений, связывающую значения некоторого наблюдаемого показателя y и объясняющих переменных x = (x1, . . . , xm)T : yi = β0 + β1xi1 + β2xi2 + . . . + βkxik + εi , i = 1, . . . , n, (1) где βT = (β0, . . . , βk) - неизвестные параметры, xij - значения объясняющих факторов, εi — ненаблюдаемая случайная компонента, j — номер переменной, i — номер наблюдения. Будем предполагать, что имеется n наблюдений показателя yi , точно известны значения объясняющих переменных xi = (xi1, . . . , xik) в каждом из наблюдений, причем в модель наблюдений (1) входит значение ненаблюдаемой случайной компоненты εi . Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 3 / 38
  4. 4. Спецификация модели Основные предположения регрессионного анализа, которые относятся к случайным компонентам εi , i = 1, . . . , n. Первая группа Случайные величины ε1, i = 1, . . . , n образуют так называемый слабый белый шум, т. е. последовательность центрированных (Eεi = 0, i = 1, . . . , n) и некоррелированных (E(εl εu) = 0 при l = u) случайных величин с одинаковыми дисперсиями σ2 (Eε2 i = σ2 i , i = 1, . . . n). Вторая группа Совместное распределение случайных величин εi , i = 1, . . . , n является нормальным распределением с нулевым вектором математических ожиданий и ковариационной матрицей σ2En, т. е. случайный вектор εT = (ε1, . . . , εn) ∼ N(0, σ2En), где En — единичная матрица порядка n × n. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 4 / 38
  5. 5. Спецификация модели Модель наблюдений (1) можно записать в матричном виде: Y = Xβ + ε, (2) где Y = (y1, . . . , yn)T , β = (β0, β1, . . . , βk)T , ε = (ε1, . . . , εn)T , X =     1 x11 x12 . . . x1k 1 x21 x22 . . . x2k . . . . . . . . . . . . 1 xn1 xn2 . . . xnk     — матрица порядка n × (k + 1). Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 5 / 38
  6. 6. Метод наименьших квадратов Метод наименьших квадратов В модели наблюдений (1), (10) неизвестными являются параметры σ, β0, β1, . . . , βk. Рассмотрим в качестве процедуры оценивания неизвестных параметров метод наименьших квадратов. Введем обозначение: Xr = (x1r , x2r , . . . , xnr )T , r = 1, . . . , k — столбец матрицы X, тогда X = (X0, X1, . . . , XK ), где X0 = (1, 1, . . . , 1)T . В качестве минимизируемого критерия рассмотрим (Y − Xβ)T (Y − Xβ) = n i=1 (yi − β0 − β1xi1 − . . . − βkxik)2 . (3) Оценки, получаемые из условия минимума (3), называют оценками метода наименьших квадратов. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 6 / 38
  7. 7. Метод наименьших квадратов Оценки метода наименьших квадратов ˆβ неизвестных параметров β находят из системы уравнений: (XT X)ˆβ = XT Y . (4) По нашему предположению, столбцы матрицы X линейно независимы, то отсюда следует, что n k и определитель |XT X| = 0. Следовательно, оценки метода наименьших квадратов ˆβ имеют вид: ˆβ = (XT X)−1 XT Y . (5) После нахождения коэффициентов ˆβ можно рассмотреть функцию: ˆy(x) = ˆβ0 + ˆβ1x1 + . . . + ˆβkxk, (6) которую и называют линейной регрессией. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 7 / 38
  8. 8. Метод наименьших квадратов Разности yi − ˆy(xi ) = ˆεi , i = 1, . . . , n, (7) которые не объясняются построенной эмпирической моделью (6), называют остатками. Вектор ˆε = (ˆε1, . . . , ˆεn), составленный из разностей ˆεi , можно рассматривать, как оценки ненаблюдаемых величин εi , i = 1, . . . , n. ˆε = P⊥ Y = P⊥ (Xβ + ε) = P⊥ ε, (8) где P⊥ = En − P, P = X(XT X)−1 XT . Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 8 / 38
  9. 9. Свойство оценок метода наименьших квадратов Свойство оценок метода наименьших квадратов Оценки метода наименьших квадратов обладают свойством несмещенности: E ˆβ = (XT X)−1 XT EY = (XT X)−1 XT Xβ = β. Пусть выполнены все условия из первой группы предположений регрессионного анализа Теорема 1 (Теорема Гаусса-Маркова) Оценки метода наименьших квадратов ˆβ являются наилучшими линейными несмещенными оценками, т.е. D ˜βi D ˆβi , i = 0, 1, 2, . . . , k, для любых несмещенных оценок ˜β = CY . Линейность понимается в том смысле, что оценки имеют вид ˆβ = AY , где A = (XT X)−1XT , т.е. речь идет о линейности по наблюдениям. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 9 / 38
  10. 10. Свойство оценок метода наименьших квадратов Оценим дисперсию одиночного наблюдения σ2. Статистика S2 = n i=1 (yi − ˆyi )2 n − k − 1 = 1 n − k − 1 ˆεT ˆε является несмещенной оценкой дисперсии σ2. Найденная несмещенная оценка S2 одиночной дисперсии σ2 позволяет построить несмещенные оценки всех ковариаций вектора оценок ˆβ. Заменяя σ2 на S2 в D ˆβ = σ2(XT X)−1, получаем несмещенные оценки всех ковариаций и дисперсий вектора ˆβ ˆσ2(XT X)−1 Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 10 / 38
  11. 11. Свойство оценок метода наименьших квадратов Лемма 1 Пусть выполнены все условия из первой и второй групп предположений регрессионного анализа, тогда статистика (n − k − 1)S2/σ2 подчиняется распределению χ2 с n − k − 1 степенями свободы. Лемма 2 Пусть выполнены предположения первой и второй групп, тогда справедливы утверждения: 1 Вектор оценок ˆβ подчиняется многомерному нормальному распределению, ˆβ ∼ N(β, σ2(XT X)−1). 2 Статистика (n − k − 1)S2/σ2 подчиняется распределению χ2 с (n − k − 1) степенями свободы и взаимно независима с вектором оценок ˆβ. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 11 / 38
  12. 12. Доверительные интервалы Построение доверительных интервалов и проверка статистических гипотез При выполнении всех условий из первой и второй групп предположений регрессионного анализа справедлива лемма 2, из которой сразу следует, что статистика βj − βj S [(XT X)−1](j+1)(j+1) ∼ Tn−k−1, j = 0, . . . , k, (9) где [(XT X)−1](j+1)(j+1) — элемент стоящий на главной диагонали в строке j + 1 и столбце j + 1 матрицы (XT X)−1, распределение Tn−k−1 — распределение Стьюдента с n − k − 1 степенями свободы. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 12 / 38
  13. 13. Доверительные интервалы Из формулы (9) следует формула для доверительного интервала с уровнем доверия 1 − α для любого параметра βj , j = 0, 1, . . . , k. Доверительный интервал имеет вид: P ˆβj − t1−α 2 ,n−k−1S [(XT X)−1](j+1)(j+1) < βj < < ˆβj + t1−α 2 ,n−k−1S [(XT X)−1](j+1)(j+1) = 1 − α, где t1−α 2 ,n−k−1 — квантиль уровня 1 − α 2 распределения Стьюдента Tn−k−1. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 13 / 38
  14. 14. Доверительные интервалы Важное значение имеет проверка гипотез статистической значимости найденных оценок βj , j = 0, 1, . . . , n (βj = 0). Проверим гипотезу H0: βj = 0 против альтернативы H1: βj = 0 Выберем уровень значимости α и вычислим статистику tβj = ˆβj S [(XT X)−1](j+1)(j+1) . Если |tβj | > t1−α 2 ,n−k−1, то гипотеза H0 отклоняется, и оценка ˆβj признается статистически значимой на уровне значимости α. Если |tβj | t1−α 2 ,n−k−1, то гипотеза H0 не отклоняется, и оценка ˆβj признается статистически незначимой на уровне значимости α. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 14 / 38
  15. 15. Доверительные интервалы Аналогичным образом можно проверить более общую гипотезу вида H0: βj = β (0) j . Рассуждая таким же образом, получаем правило проверки гипотезы H0 на уровне значимости α: Если |ˆβj −β (0) j | S √ [(XT X)−1](j+1)(j+1) > t1−α 2 ,n−k−1, то гипотеза H0: βj = β (0) j отклоняется на уровне значимости α. Если |ˆβj −β (0) j | S √ [(XT X)−1](j+1)(j+1) t1−α 2 ,n−k−1, то гипотеза H0: βj = β (0) j принимается на уровне значимости α. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 15 / 38
  16. 16. Доверительные интервалы В линейном регрессионном анализе коэффициентом детерминации R2 называется квадрат коэффициента корреляции между наблюдаемыми значениями показателя Y T = (y1, . . . , yn) и значениями эмпирической функции ˆY T = (ˆy1, . . . , ˆyn). R2 = n i=1 (yi − y)(ˆyi − y) 2 n i=1 (yi − y)2 n i=1 (ˆyi − y)2 = 1 − ˆεT ˆε (Y − yX0)T Если построенная линейная регрессия идеально точно соответствует наблюдениям, то Y = ˆY и, следовательно, ˆε = 0, но тогда R2 = 1. Наоборот, если ˆβ1 = . . . = ˆβk = 0, т.е. линейная регрессия не зависит от x1, . . . , xk, то R2 = 0. Из определения коэффициента детерминации R2 сразу следует, что 0 R2 1. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 16 / 38
  17. 17. Доверительные интервалы Лемма 3 Пусть выполнены обе группы основных предположений линейного регрессионного анализа, тогда в предположении справделивости гипотезы H0: β1 = . . . = βk = 0 статистика F = R2 1 − R2 n − k − 1 k ∼ Fk,n−k−1 подчиняется распределению Фишера со степенями свободы k и n − k − 1. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 17 / 38
  18. 18. Доверительные интервалы Построенная линейная регрессия статистически значима на уровне α тогда и только тогда, когда гипотеза H0: β1 = . . . = βk = 0 отклоняется на уровне значимости α. Поэтому правило проверки статистической значимости линейной регрессии в целом сформулируем следующим образом: Если F = R2 1−R2 n−k−1 k > F1−α;k,n−k−1, то гипотеза H0: β1 = . . . = βk = 0 отклоняется на уровне значимости α и, следовательно, построенная линейная регрессия является статистически значимой. Если F F1−α;k,n−k−1, то гипотеза H0 принимается, и, следовательно, построенная линейная регрессия является статистически незначимой, здесь F1−α;k,n−k−1 — квантиль уровня 1 − α распределения Фишера с k и n − k − 1 степенями свободы. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 18 / 38
  19. 19. Доверительные интервалы Гипотеза H0: β1 = . . . = βk = 0 является частным случаем общей линейной гипотезы: H0 : βk1 = . . . = βkq = 0, ki = 0. Статистический критерий основывается на F-статистике F = (RSSH0 − RSS)/q RSS/(n − k − 1) , где RSS = (y − X ˆθ)T (y − X ˆθ) — остаточная сумма квадратов, получаемая при оценивании полной модели (с k объясняющимим переменными) RSSH0 — остаточная сумма квадратов, получаемая при оценивании модели c наложенными гипотезой H0 ограничениями на параметры. Гипотеза H0 отвергается на уровне значимости α, если F > F1−α;q,n−k−1 Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 19 / 38
  20. 20. Нелинейные модели, сводяшиеся к ленийным Нелинейные регрессионные модели, сводяшиеся к ленийным при помощи замены переменных Регрессионная модель от k факторов и l параметров может быть записана в виде y = f (x1, . . . , xk, β1, . . . , βl ). Среди них есть нелинейные как по факторам, так и по параметрам. Существуют нелинейные модели, которые путем преобразований могут быть приведены к линейным. Преобрзования применяются как к отклику, так и к факторам. Обратное преобразование: Y = β0 + β1(1/X) + ε. Замена Z = 1/X. Логарифмическое преобразование: Y = β0 + β1 ln X + ε. Замена Z = ln X. Преобразование типа квадратного корня: Y = β0 + β1 √ X + ε. Замена Z = √ X. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 20 / 38
  21. 21. Нелинейные модели, сводяшиеся к ленийным Мультипликативная модель: Y = αXβε. α, β — неизвестные параметры, ε — мультипликативная случайная ошибка, которая имеет непрерывное распределение с математическим ожиданием, равным 1, и конечной дисперсией. ln Y = ln α + β ln X + ln ε. Следует помнить, что оценки границ доверительных интравлов будут обоснованными, только если логарифм ошибок имеет нормально распределение: ln ε ∈ N(0, σ2). Экспоненциальная модель: Y = αeβ1X ε. ln Y = ln α + β1X + ln ε. Обратная модель: Y = 1 β0 + β1X + ε . 1/Y = β0 + β1X + ε. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 21 / 38
  22. 22. Нелинейные модели, сводяшиеся к ленийным Обратная экспоненциальная модель: Y = 1 1 + αeβ1X+ε . ln(1/Y − 1) = ln α + β1X + ε. При использовании преобразований, особенно отклика, следует проверять предпосылки регрессионного анализа: независимость ошибок, нормальность их распределений. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 22 / 38
  23. 23. Нелинейные модели, сводяшиеся к ленийным Информационные критерии Акаике и Шварца Информационные критерии Акаике и Шварца Критерии применяютсяся для выбора из нескольких статистических моделей в случае одинаковых зависимых переменных. Пусть выполняется первая группа условий. Статистикой критерия Акаике является AIC = 2k + n ln RSS n + 1 Статистика критерия Шварца BIC = 2k ln n + n ln RSS n + 1 Из двух моделей предпочтительно выбрать модель с меньшим значением Акаике критерия или Шварца критерия. Информационные критерии не являются статистическими критериями проверки статистических гипотез. К ним не применимы понятие "статистически значимо "отверагется". Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 23 / 38
  24. 24. Нелинейные модели, сводяшиеся к ленийным Информационные критерии Акаике и Шварца ˆy = 6 + 0.5x Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 24 / 38
  25. 25. Нелинейные модели, сводяшиеся к ленийным Информационные критерии Акаике и Шварца Последствия отклонений от стандартных предположений оценки ˆβ0, . . . , ˆβk коэффициентов линейной модели оказываются смещенными; оценки дисперсий оценок ˆβ0, . . . , ˆβk оказываются смещенными доверительные интервалы для β0, . . . , βk не соотвествуют заявленным уровням значимости можно прийти к ошибочным статистическим выводам о значениях коэффициентов линейной модели, опираясь на статистики t и F, прогнозы, построенные по подобранной модели, оказываются смещенными. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 25 / 38
  26. 26. Мультиколлинеарность Мультиколлинеарность Рассмотрим следующую модель наблюдений, связывающую значения некоторого наблюдаемого показателя y и объясняющих переменных x = (x1, . . . , xk)T : Y = Xβ + ε, (10) где Y = (y1, . . . , yn)T — наблюдения, β = (β0, β1, . . . , βk)T — вектор неизвестных параметров, ε = (ε1, . . . , εn)T — вектор ненаблюдаемых случайных компонент, X =     1 x11 x12 . . . x1k 1 x21 x22 . . . x2k . . . . . . . . . . . . 1 xn1 xn2 . . . xnk     — матрица порядка n × (k + 1), xij - значения объясняющих факторов, n — объем наблюдений. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 26 / 38
  27. 27. Мультиколлинеарность Предположим наблюдается мультиколлинеарность столбцов матрицы X и как следствие плохая обусловленность матрицы XT X и неустойчивость оценок коэффициентов регрессии. Оценки могут иметь, например, неправильный знак или иметь значения, которые намного превосходят те, которые приемлемы из физических или практических соображений. Критерием плохой обсуловленности является высокая величина отношения λmax /λmin максимального и минимального собственных чисел матрицы XT X, — называемого показателем обусловленности. Это соотношение также позволяет судить о степени серьезности проблем мультиколлинеарности: показатель обусловленности в пределах от 10 до 100 свидетельствует об умеренной коллинеарности, свыше 1000 — об очень серьезной коллинеарности. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 27 / 38
  28. 28. Мультиколлинеарность Наиболее детальным показателем наличия проблем, связанных с мультиколлинеарностью, является коэффициент увеличения дисперсии, определяемый для каждой переменной как VIF(βj ) = 1 1 − R2 j , где R2 j — коэффициент множественной детерминации в регрессии Xj на прочие X, т.е. уравнения регрессии xj = c0 + c1x1 + . . . + cj−1xj−1 + cj+1xj+1 + . . . + ckxk, j = 1, . . . , m О мультиколлинеарности будет свидетельствовать VIF от 4 и выше хотя бы для одного j. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 28 / 38
  29. 29. Мультиколлинеарность Если фактор xj имеет небольшой разброс значений, то вектор Xj будет коррелировать с вектором X0. Для того, чтобы обойти данную проблему стандартизируем факторы и отклик. А именно факторы центрируем и нормируем, а отклик центрируем: zij = xij − x 1 n n m=1(xmj − x)2 , x = 1 n n m=1 xmj Y = Y − yX0, X0 = (1, 1, . . . , 1)T . В результате стандартизации перейдем от модели (10) к модели Y = Zβ + ε, (11) где Y = (y1, . . . , yn)T — вектор центрированных наблюдений, β = (β1, . . . , βk)T — вектор неизвестных параметров, Z =     z11 z12 . . . z1k z21 z22 . . . z2k . . . . . . . . . zn1 zn2 . . . znk     — матрица порядка n × k, zij - значения нормированных центрированных факторов. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 29 / 38
  30. 30. Мультиколлинеарность Параметры модели (11) связаны с параметрами исходной модели (10) следующими соотношениями βj = βj 1 n n m=1(xmj − x)2 , j = 1, . . . , k. Сдедовательно, оценки ˆβ неизвестных параметров β исходной модели (10) могут быть выражены через оценки ˆβ модели (11) ˆβj = ˆβj 1 n n m=1(xmj − x)2 , j = 1, . . . , k. ˆβ0 = y − n j=1 ˆβj xj . Оценки метода наименьших квадратов ˆβ неизвестных параметров β модели (11) могут быть получены по формуле ˆβ = (ZT Z)−1 ZT Y . (12) в случае обратимости матрицы ZT Z. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 30 / 38
  31. 31. Анализ остатков Анализ остатков Проверим выполнение стандартных предположений о модели наблюдений. Рассмотрим специальные процедуры, направленные на выявление cледующих типов нарушений стандартных предположений: отличие распределения ошибок от нормального неодинаковые дисперсии ошибок статистическая зависимость ошибок в наблюдениях, производимых в последовательные моменты времени неправильный выбор функциональной формы модели непостоянство коэффициентов модели на периоде наблюдений Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 31 / 38
  32. 32. Анализ остатков Рассмотрим остатки построенной регрессионной модели ei = yi − ˆyi Причем D(ei ) = σ2(1 − hii ), i = 1, . . . , n, где hii — iй диагональный элемент матрицы H = X(XT X)−1XT Для выравнивания дисперсий можно рассмотреть нормированные остатки ei D(ei ) = ei σ √ 1 − hii , i = 1, . . . , n. Так как σ неизвестно, вместо нормированных остатков используют стьюдентизированные остатки: di = ei S √ 1 − hii , i = 1, . . . , n, S2 = RSS n − k − 1 . стандартизованные остатки: ci = ei S , i = 1, . . . , n. Так как n i=1 hii = k + 1, если k << n, то в среднем значения hii достаточно малы. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 32 / 38
  33. 33. Анализ остатков Графический анализ адекватности График зависимости отстатков ci от оцененных значений ˆyi = X ˆβ позволяет выявить: наличие выбросов неоднородность дисперсий, неправильная гетероскадастичность спецификация модели Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 33 / 38
  34. 34. Анализ остатков График зависимости ci от значений объясняющих переменных xij График зависимости остатков от номера наблюдений полезен в случае, когда наблюдения проволятся последовательно во времни Графические методы проверки предположения о нормальности распределения случайных составляющих (диаграмма "кантиль-квантиль") Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 34 / 38
  35. 35. Анализ остатков Критерии проверки гетероскедастичности Нулевая гипотеза H0 : D( i ) = . . . = D( i ) = σ2 , i = 1, . . . , n Критерий Голдфелда-Квандта Тест применяется, когда есть предположение о прямой зависимости дисперсии ошибки от величины некоторой независимой переменной. Упорядочим данные по предполагаемому возрастанию дисперсий ошибок. Исключим r средних (в этом упорядочении) наблюдений (примерно четверть общего количе- ства наблюдений). Построим две регрессионных модели: по первым (n − r)/2 наблюдениям и по последним (n − r)/2 наблюдениям. Вычислим соответствующие остаточные суммы квадратов RSS1 и RSS2. Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 35 / 38
  36. 36. Анализ остатков Составим статистику F = RSS2 RSS1 Если верна нулевая гипотеза и выполняются предположения о нормальности ошибок, то стаитсика F имеет распределение Фишера с (n − r)/2 − k − 1 и (n − r)/2 − k − 1 степенями свободы. Гипотеза H0 отклоняется, если значение статистики F > F1−α((n − r)/2 − k − 1, (n − r)/2 − k − 1). Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 36 / 38
  37. 37. Анализ остатков Критерий Вайта Рассмотрим вспомогательную модель e2 i = α0 + k j=1 αj xij + k j=1 βj x2 ij + νi , i = 1, . . . , n, (13) где ei — остатки, полученные при оценивании основной модели наблюдений. Проверяется гипотеза H0 : αj = βj = 0, j = 1, . . . , k. Статистика критерия равно nR2, где R2 — коэффициент детерминации, получаемый при оценивании модели (13). При нулевая гипотеза верна, то статистика nR имеет асимптотическое распределение хи-квадрат с (2k − 2) степенями свободы. Гипотеза H0 при уровне значимости α отклоняется, если nR2 > χ2 1−α(2k − 2). Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 37 / 38
  38. 38. Анализ остатков Критерий Рэмси, RESET Используется для проверки функциональной формы модели. Рассмотрим вспомогательную модель yi = β0 + β1xi1 + . . . + βkxik + α2ˆy2 i + . . . + αmˆym i + ηi , где ˆyi — предсказанные значения в соответствии с исходной моделью. Проверется гипотеза H0 : α2 = . . . = αm = 0. Если нулевая гипотеза верна, то статистика nR2 имеет асимптотическое распределение хи-квадрат с m степенями свободы. Нулевую гипотезу отклоняют на уровне значимости α, если nR2 > χ2 1−α(m) Грауэр Л.В., Архипова О.А. (CSC) Множественная регрессия... Санкт-Петербург, 2014 38 / 38

×