Множественная регрессия

Обобщением линейной регрессионной модели с двумя переменными является многомерная регрессионная модель (или модель множественной регрессии). Пусть n раз измерены значения факторов x₁ , x₂ , ..., x_k и соответствующие значения переменной y; предполагается, что

y_i = b _o + b ₁x_i1 + ... + b _k x_ik+  _i , i = 1, ..., n,                                                     (12)

(второй индекс у х относится к номеру фактора, а первый - к номеру наблюдения); предполагается также, что

M _i = 0, M  = ²,

                    M( _i  _j) = 0, i не равно j,                                                       (12a)

т.е.  _i - некоррелированные случайные величины. Соотношения (12) удобно записывать в матричной форме:

Y = X +  ,                                                                        (13)

где Y = (y₁, ..., y_k)^T - вектор-столбец значений зависимой переменной, Т - символ транспонирования,   = ( ₀,  ₁, ...,  _k)^T - вектор-столбец (размерности k) неизвестных коэффициентов регрессии,   = ( ₁ , ...,  _n)^T - вектор случайных отклонений,

-матрица n x (k + 1); в i - й строке (1, x_i1, ...,x_ik) находятся значения независимых переменных в i-м наблюдении первая переменная - константа, равная 1.

Оценка коэффициентов регрессии. Построим оценку   для вектора  так, чтобы вектор оценок   = Х  зависимой переменной минимально (в смысле квадрата нормы разности) отличался от вектора Y заданных значений:

 по  .

Решением является (если ранг матрицы Х равен k +1) оценка

 = (X^TX)^-1 X^TY                                                                                (14)

Нетрудно проверить, что она несмещенная. Ковариационная (дисперсионная) матрица равна

D  = (  - b ) (  - b )^T = s ² (X^TX)- ¹ = s ² Z ,                                             (15)

где обозначено Z = (X^TX)- ¹.

Справедлива

теорема Гаусса - Маркова. В условиях (12а) оценка (14) является наилучшей (в смысле минимума дисперсии) оценкой в классе линейных несмещенных оценок.

Оценка дисперсии  ² ошибок. Обозначим

e = Y -   = Y - Х  = [I - X (X^TX)- ¹ X^T] Y = BY                                                       (16)

вектор остатков (или невязок); B = I - X (X^TX)- ¹ X^T - матрица; можно проверить, что B² = B. Для остаточной суммы квадратов   справедливо соотношение

M  = M (n - k -1)  ² ,

откуда следует, что несмещенной оценкой для  ² является

s² =  .                                                                     (17)

Если предположить, что  _i в (12) нормально распределены, то справедливы следующие свойства оценок:

1) (n - k - 1)   имеет распределение хи квадрат   с n-k-1 степенями свободы;

2) оценки  и s² независимы.

Как и в случае простой регрессии, справедливо соотношение:

 или

T_ss = E_ss + R_ss ,                                                                                      (18)

в векторном виде:

 ,

где   =  . Поделив обе части на полную вариацию игреков

T_ss =  , получим коэффициент детерминации

R² =                                                             (19)

Коэффициент R² показывает качество подгонки регрессионной модели к наблюдённым значениям y_i. Если R² = 0, то регрессия Y на x₁ , ..., x_k не улучшает качество предсказания y_i по сравнению с тривиальным предсказанием  . Другой крайний случай R² = 1 означает точную подгонку: все e_i = 0, т.е. все точки наблюдений лежат на регрессионной плоскости. Однако, значение R² возрастает с ростом числа переменных (регрессоров) в регрессии, что не означает улучшения качества предсказания, и потому вводится скорректированный (adjusted) коэффициент детерминации

                          (20)

Его использование более корректно для сравнения регрессий при изменении числа переменных (регрессоров).

Доверительные интервалы для коэффициентов регрессии. Стандартной ошибкой оценки   является величина   , оценка для которой

s_j =  , j = 0, 1, ..., k,                                                                        (21)

где z_jj - диагональный элемент матрицы Z. Если ошибки  _i распределены нормально, то, в силу свойств 1) и 2), приведенных выше, статистика

                                  (22)

распределена по закону Стьюдента с (n - k - 1) степенями свободы, и потому неравенство

 <= t_p s_j ,                                                                  (23)

где t_p - квантиль уровня (1 + P_Д) / 2 этого распределения, задает доверительный интервал для  _j   с уровнем доверияР_Д.

Проверка гипотезы о нулевых значениях коэффициентов регрессии. Для проверки гипотезы Н₀ об отсутствии какой бы то ни было линейной связи между y и совокупностью факторов, Н₀:  ₁ =  ₂ = ... =  _k = 0, т.е. об одновременном равенстве нулю всех коэффициентов, кроме коэффициента  ₀ при константе, используется статистика

F =   =   =   ,                            (24)

распределенная, если Н₀ верна, по закону Фишера с k и n - k - 1 степенями свободы. Н₀ отклоняется, если

F > F (k, n - k - 1),                                                                             (25)

где F - квантиль уровня 1 -  .

Отбор наиболее существенных объясняющих переменных. Различные регрессии (с различным набором переменных) можно сравнивать по скорректированному коэффициенту детерминации (20): принять тот вариант регрессии, для которого   максимален

11. Сезонные колебания

Первая гармоника:

Вторая гармоника: ,

где параметры гармоники равны: ,

, а₁=-219,65, а₂=31,67;

, b1=-87,36, b₂=34,64.

Задание: показать процесс выравнивания сезонных колебаний по ряду Фурье на условных месячных данных о численности персонала фирмы, связанной с переработкой сельскохозяйственной продукции.