2.4. Спецификация модели

Все предыдущие рассуждения и выводы, касающиеся классической множественной регрессии, основывались на предположении, что мы имеем дело с правильной спецификацией модели. Под спецификацией модели в данном случае (т.е. для модели линейной множественной регрессии при выполнении предпосылок МНК) будем понимать выбор объясняющих переменных.В этой связи важное значение приобретает рассмотрение двух вопросов, имеющих смысл именно во множественной регрессии, когда исследователь имеет дело с несколькими факторами: возможная мультиколлинеарность факторов и частная корреляция. Последняя особенно тесно связана с процедурами множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность. Например, в модели урожайности качество почвы задается в виде баллов; в модели стоимости объектов недвижимости учитывается место нахождения недвижимости: районы могут быть проранжированы.

2. Факторы не должны быть коррелированы между собой и тем более находиться в точной функциональной связи.

Включение в модель факторов с высокой взаимной корреляцией, когда, например, для зависимостиу=а+b₁x₁ +b₂x₂+eможет привести к нежелательным последствиям - система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми. Так, в приведенной зависимости с двумя факторами предполагается, что факторы х₁их₂ независимы друг от друга, т.е.=0.Тогда можно говорить, что параметрb₁измеряет силу влияния фактораx₁на результатупри неизменном значении факторах₂.Если же=1, то с изменением факторах₁ факторх₂не может оставаться неизменным. Отсюдаb₁иb₂ нельзя интерпретировать как показатель раздельного влиянияx₁их₂наy.

Как было сказано ранее, добавление нового фактора в регрессии приводит к возрастанию коэффициента детерминации и уменьшению остаточной дисперсии. Однако эти изменения могут быть незначительны, и не каждый фактор целесообразно вводить в модель.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретике — экономического анализа, Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы, исходя из сущности проблемы; на второй - анализируется матрица показателей корреляции и устанавливается, какие из факторов наиболее тесно связаны с результатом, а какие - между собой.

Здесь эконометрист чаще всего сталкивается с проблемой мультиколлинеарности.

Под полной мультиколлинеарностью понимается существование между некоторыми из факторов линейной функциональной связи. Количественным выражением этого служит то обстоятельство, что ранг матрицы Хменьше, чем (р+1), а матрица(Х'Х)будет вырожденной, т.е. её определитель равен нулю, а обратной матрицы к ней не существует. В практике статистических исследований полная мультиколлинеарность встречается достаточно редко, т.к. её несложно избежать уже на предварительной стадии анализа и отбора множества объясняющих переменных.

Реальная (или частичная) мультиколлинеарность возникает в случаях существования достаточно тесных линейных статистических связей между объясняющими переменными. Точных количественных критериев для определения наличия или отсутствия реальной мультиколлинеарности не существует. Тем не менее, существуют некоторые эвристические рекомендации по выявлению мультиколлинеарности.

В первую очередь анализируют матрицу парных коэффициентов корреляции:

точнее, ту её часть, которая относится к объясняющим переменным. Считается, что две переменные явно коллинеарны, если . В этом случае факторы дублируют друг друга, и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдаётся фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.

Пусть, например, при изучении зависимости у=f(x₁, x₂, x₃)матрица парных коэффициентов корреляции оказалась следующей:

Очевидно, что факторы х₁их₂дублируют друг друга ()- Однако в модель следует включить факторх₂,а нех₁, поскольку корреляция факторах₂судостаточно высокая (), а с факторомх₃ слабая ().

Другим методом оценки мультиколлинеарности факторов может служить определитель матрицы парных коэффициентов корреляции между факторами (37). Обоснованием данного подхода служат такие рассуждения. Если бы факторы не коррелировали между собой, то в определителе (37) все внедиагональные элементы равнялись бы нулю, а на диагонали стояли бы единицы. Такой определитель равен единице. Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты межфакторной корреляции равны единице, то определитель такой матрицы равен нулю. Следовательно, чем ближе к нулю определитель (37), тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к единице величина (37), тем меньше мультиколлинеарность факторов.

Для оценки значимости мультиколлинеарности факторов выдвигается гипотеза . Доказано, что величина имеет приближенное распределениеx²сстепенями свободы. Еслито гипотезаН₀отклоняется, мультиколлинеарность считается доказанной.

Другим методом выявления мультиколлинеарности является анализ коэффициентов множественной детерминации факторов. Для этого в качестве зависимой переменной рассматривается каждый из факторов. Например, коэффициент рассчитывается по следующей регрессии:

где первый фактор взят в качестве результативного признака, а остальные факторы - как независимые переменные, влияющие на первый фактор. Чем ближе такой R²к единице, тем сильнее проявляется мультиколлинеарность факторов. Оставляя в уравнении регрессии факторы с минимальнойR², можно решить проблему отбора факторов. При этом рассчитывается статистика:

(39)

Если коэффициент статистически значим, то. В этом случаеx_jявляется линейной комбинацией других факторов, и его можно исключить из регрессии.

Перечислим основные последствия мультиколлинеарности:

1. Большие дисперсии оценок. Это затрудняет нахождение истинных значений определяемых величин и расширяет интервальные оценки, ухудшая их точность.

2. Уменьшаются t-статистики коэффициентов, что может привести к неоправданному выводу о несущественности влияния соответствующего фактора на зависимую переменную.

3. Оценки коэффициентов по МНК и их стандартные ошибки становятся очень чувствительными к малейшим изменениям данных, т.е. они становятся неустойчивыми.

4. Затрудняется определение вклада каждой из объясняющих переменных в объясняемую уравнением регрессии дисперсию зависимой переменной.

5. Возможно получение неверного знака у коэффициента регрессии.

Единого подхода к устранению мультиколлинеарности не существует. Существует ряд методов, которые не являются универсальными и применимы в конкретных ситуациях.

Простейшим методом устранения мультиколлинеарности является исключение из одной или нескольких коррелированных переменных. Здесь необходима осторожность, чтобы не отбросить переменную, которая необходима в модели по своей экономической сущности, но зачастую коррелирует с другими переменными (например, цена блага и цены заменителей данного блага).

Иногда для устранения мультиколлинеарности достаточно увеличить объем выборки. Например, при использовании ежегодных данных можно перейти к поквартальным данным. Это приведёт к сокращению дисперсии коэффициентов регрессии и увеличению их статистической значимости. Однако при этом можно усилить автокорреляцию, что ограничивает возможности такого подхода.

В некоторых случаях изменение спецификации модели, например, добавление существенного фактора, решает проблему мультиколлинеарности. При этом уменьшается остаточная СКО, что приводит к уменьшению стандартных ошибок коэффициентов.

В ряде случаев минимизировать либо вообще устранить проблему мультиколлинеарности можно с помощью преобразования переменных.

Например, пусть эмпирическое уравнение регрессии имеет вид:

где факторы коррелированы. Здесь можно попытаться опре­делить отдельные регрессии для относительных величин:

(40)

Возможно, что в моделях, аналогичных (40), проблема мультиколлинеарности будет отсутствовать.

Теперь рассмотрим другой вопрос, имеющий важное значение для проблем, связанных со спецификацией модели множественной регрессии. Это частная корреляция.С помощью частных коэффициентов корреляции проводится ранжирование факторов по степени их влияния на результат. Кроме того, частные показатели корреляции широко используются при решении проблем отбора факторов: целесообразность включения того или иного фактора в модель доказывается величиной показателя частной корреляции.

Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при устранении влияния других факторов, включенных в уравнение регрессии.

Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в модель нового фактора к остаточной дисперсии, имевшей место до введения его в модель.

Высокое значение коэффициента парной корреляции между исследуемой зависимой и какой - либо независимой переменной может означать высокую степень взаимосвязи, но может быть обусловлено и другой причиной, например, третьей переменной, которая оказывает сильное влияние на две первые, что и объясняет их высокую коррелированность. Поэтому возникает задача найти «чистую» корреляцию между двумя переменными, исключив (линейное) влияние других факторов. Это можно сделать с помощью коэффициента частной корреляции.

Коэффициенты частной корреляции определяются различными способами. Рассмотрим некоторые из них.

Для простоты предположим, что имеется двухфакторная регрессионная модель:

(41)

и имеется набор наблюдений (х_i1,х_i2,у_i),.Тогда коэффициент частной корреляции междууи, например,х₁после исключения влияниях₂определяется по следующему алгоритму:

1. Осуществим регрессию унах₂и константу и получим прогнозные значения:.

2. Осуществим регрессию х₁нах₂и константу и получим прогнозные значения: .

3. Удалим влияние х₂взяв остатки:и.

4. Определим выборочный коэффициент частной корреляции между уих₁при исключениих₂ как выборочный коэффициент корреляции междуe_y и e₁.

(42)

Значения частных коэффициентов корреляции лежат в интервале [-1,1], как у обычных коэффициентов корреляции. Равенство нулю означает отсутствие линейного влияния переменнойх₁ на y .

Существует тесная связь между коэффициентом частной корреляциии коэффициентом детерминацииR²:

(43)

где -обычный коэффициент корреляции.

Описанная выше процедура обобщается на случай, когда исключается влияние нескольких переменных. Для этого Достаточно переменную х₂заменить на набор переменныхХ₂ сохраняя определение (42) (при этом можно в число исключаемых переменных вводить иу,определяя частную коррекцию между факторами).

Другой способ определения коэффициентов частной корреляции - матричный. Обозначив для удобства зависимую переменную как x₀,запишем определитель матрицы парных коэффициентов корреляции в виде:

(44)

Тогда частный коэффициент корреляции определяется по формуле:

(45)

где R_ii -алгебраическое дополнение для элементаr_iiв определителе (44).

Существует ещё один способ расчета - по рекуррентной формуле. Порядок частного коэффициента корреляции определяется количеством факторов, влияние которых исключается. Например, -коэффициент частной корреляции первого порядка. Соответственно коэффициенты парной корреляции называются коэффициентами нулевого порядка. Коэффициенты более высоких порядков можно определить через коэффициенты более низких порядков по рекуррентной формуле:

(46)

Если исследователь имеет дело лишь с тремя - четырьмя переменными, то удобно пользоваться соотношениями (46). При больших размерностях задачи удобнее расчет через определители, т.е. по формуле (45). В соответствии со смыслом коэффициентов частной корреляции можно записать формулу:

(47)

При исследовании статистических свойств выборочного частного коэффициента корреляции порядка kследует воспользоваться тем, что он распределен точно так же, как и обычный парный коэффициент корреляции, с единственной поправкой: объём выборки надо уменьшить наk единиц, т.е. полагать его равнымn-k,а неп.

Пример.По итогам года у 37 однородных предприятий легкой промышленности были зарегистрированы следующие показатели их работы:у -среднемесячная характеристика качества ткани (в баллах),х₁- среднемесячное количество профилактических наладок автоматической линии;x₂ -среднемесячное количество обрывов нити.

По исходным данным были подсчитаны выборочные парные коэффициенты корреляции:

=0,105;=0,024;= 0,996.

Проверка статистической значимости этих величин показала отсутствие значимой статистической связи между результативным признаком и каждым из факторов, что не согласуется с профессиональными представлениями технолога. Однако расчет частных коэффициентов корреляции дал значения:

=0,907;= - 0,906,

которые вполне соответствуют нашим представлениям о естественном характере связей между изучаемыми показателями.

Теперь остановимся на специальных процедурах спецификации модели множественной регрессии, которые обычно называются процедурами пошагового отбора переменных.

Иногда исследователь заранее знает характер зависимости исследуемых величин, опираясь на экономическую теорию, предыдущие результаты или априорные знания, и его задача состоит лишь в оценивании неизвестных параметров.

Классическим примером является оценивание параметров производственной функции Кобба - Дугласа, где заранее известно, что в качестве факторов выступают капиталовложения и трудозатраты.

Однако на практике чаще имеется большое число наблюдений различных независимых переменных, но нет априорной модели изучаемого явления. Возникает проблема, какие переменные включать в регрессионную схему.

В компьютерные пакеты включены различные эвристические процедуры пошагового отбора факторов. Основными пошаговыми процедурами являются:

- процедура последовательного присоединения;

- процедура последовательного присоединения - удаления;

- процедура последовательного удаления.

Рассмотрим вкратце одну из широко применяемых процедур, которая относится к процедурам последовательного присоединения. Это процедура «всех возможных регрессий».

Для заданного значения k(k=1,2,...,p-1) путем полного перебора всех возможных комбинаций изkобъясняющих переменных, отобранных из исходного набора факторовх₁,х₂,...x_p,определяются такие переменные, для которых коэффициент детерминации с результатом был бы максимальным.

Таким образом, на первом шаге процедуры (k=1) находят одну объясняющую переменную, которую можно назвать наиболее информативным фактором при условии, что в регрессионную модель допускается включить только одну переменную из первоначального набора. На втором шаге определяется уже наиболее информативная пара переменных из исходного набора, и эта пара будет иметь наиболее тесную статистическую связь с результатом. Вообще говоря, в состав этой пары может не войти переменная, объявленная наиболее информативной среди всех моделей с одной переменной. На третьем шаге(k=3)будет отобрана наиболее информативная тройка факторов, на четвертом (k=4) - наиболее информативная четверка объясняющих переменных и т.д.

В качестве критерия останова этой процедуры, т.е. выбора оптимального числаk₀факторов, которые следует включить в модель, предлагается следующее. На каждом шаге вычисляется нижняя доверительная граница коэффициента детерминации:

(48)

где -скорректированный коэффициент детерминации дляkнаиболее информативных факторов,R²(k) -обычный коэффициент детерминации. В соответствии с критерием останова следует выбиратьk₀,при котором величина (48) достигает своего максимума.

Следует признать, что пошаговые процедуры, вообще говоря, не гарантируют получения оптимального (в смысле критерия максимума коэффициента детерминации) набора факторов. Однако в подавляющем большинстве ситуаций получаемые с помощью пошаговой процедуры наборы переменных оказываются оптимальными или близкими к оптимальным.

В заключение общих вопросов множественного регрессионного анализа рассмотрим краткий обзор некоторых часто встречаемых формул, которые применяются не только в обычном анализе регрессий, но и в процедурах отбора факторов.

Для расчета стандартной ошибки коэффициента b_jможет применяться формула:

49

где коэффициент детерминации для уравнения множественной регрессии;

- коэффициент детерминации для зависимоcти фактораx_jот всех других факторов уравнения множественной регрессии.

Для оценки значимости фактора, дополнительно вводимого в модель, используется частный F - критерий.Не каждый фактор, вошедший в модель, существенно увеличивает долю объясненной дисперсии в общей дисперсии результата. Кроме того, при наличии в модели нескольких факторов они могут вводиться в модель в разной последовательности. Ввиду корреляции между факторами значимость одного и того же фактора может быть разной в зависимости от последовательности его введения в модель. Для частногоF– критерия используется формула:

(50)

которая является частным случаем формулы (32). Здесь в числителе - разность между коэффициентом детерминации модели с полным набором факторов и коэффициентом детерминации модели до введения в неё фактора х_j.

С помощью частного F-критерия можно проверить значимость всех коэффициентов регрессии в предположении, что соответствующий фактор х_jвводился в уравнение регрессии последним. Процедура проверки не отличается от таковой для статистики (32).

Зная величину, можно определить иt-критерий для коэффициента регрессии прих_j.

.

Существует взаимосвязь между квадратом частного коэффициента корреляции и частным F- критерием:

(52)

Частный F-критерий широко используется при построении модели методом включения переменных.

Теперь, после рассмотрения общих вопросов множественного регрессионного анализа, будем рассматривать вопросы, связанные с выполнимостью некоторых предпосылок МНК (гетероскедастичность, автокорреляция остатков), а также использование фиктивных переменных в регрессионных моделях.