Экономико-математическое моделирование

и в соответствии с нулевой гипотезой относительно того, что дополнительные переменные не увеличивают возможности объяснения уравнения, она распределена с (m – k) и (n–k – 1) степенями свободы. 

Зависимость между F- и t-статистиками

Предположим, что  вы оцениваете регрессию с несколькими  объясняющими переменными, а затем повторяете расчет, отбросив одну из них. Используя разницу в объясненной сумме квадратов, можно выполнить F-тест для предельного вклада независимой переменной, которая была отброшена. Можно показать, что такой тест эквивалентен двустороннему t-тесту для гипотезы о том, что для этой переменной в первоначальной регрессии β = 0.

Другими словами, t-тесты обеспечивают эффективную проверку предельного вклада каждой переменной при допущении, что все другие переменные уже включены в уравнение.

Если объясняющие  способности независимых переменных перекрываются, то предельный вклад в объяснение при добавлении каждой из них может оказаться совсем небольшим. Отсюда вполне возможно, что /-тест для каждой переменной окажется незначимым, в то время как F-тест для уравнения в целом вполне значим. 

Скорректированный коэффициент R²

Если вы посмотрите на распечатку уравнений регрессии, то почти наверняка найдете рядом с коэффициентом R² показатель, который называют скорректированным коэффициентом R² (adjusted R²), Иногда его также называют «исправленным» коэффициентом R², хотя это определение не означает, по мнению многих, что такой коэффициент улучшен по сравнению с обычным.

Как отмечалось выше, при добавлении объясняющей  переменной к уравнению регрессии коэффициент R² никогда не уменьшается, а обычно увеличивается. Скорректированный коэффициент R², который обычно обозначают , обеспечивает компенсацию для такого автоматического сдвига вверх путем наложения «штрафа» за увеличение числа независимых переменных. Этот коэффициент определяется следующим образом: 

где k — число независимых переменных. По мере роста k увеличивается отношение k/(n — k— 1) и, следовательно, возрастает размер корректировки коэффициента R² в сторону уменьшения.

Можно показать, что добавление новой переменной к регрессии приведет к увеличению  R , если и только если  соответствующая t-cтатистика больше единицы (или меньше -1). Следовательно, увеличение при добавлении новой переменной необязательно означает, что ее коэффициент значимо отличается от нуля. Поэтому отнюдь не следует, как можно было бы предположить, что увеличение означает улучшение спецификации уравнения.

Это является одной  из причин того, почему не стал широко использоваться в качестве диагностической величины. Другая причина состоит в уменьшении внимания к самому коэффициенту R². Ранее среди экономистов наблюдалась тенденция рассматривать коэффициент R² в качестве основного индикатора успеха в спецификации модели. Однако на практике, как будет показано в следующих главах, даже плохо определенная модель регрессии может дать высокий коэффициент R², и признание этого факта привело к снижению значимости R². Теперь он рассматривается в качестве одного из целого ряда диагностических показателей, которые должны быть проверены при построении модели регрессии. 

СПЕЦИФИКАЦИЯ  ПЕРЕМЕННЫХ

Свойства оценок коэффициентов регрессии в значительной мере зависят от правильности спецификации модели. Результаты неправильной спецификации переменных в уравнении могут быть в обобщенном виде выражены следующим образом.

1. Если опущена переменная, которая должна быть включена, то 
   оценки коэффициентов регрессии, вообще говоря, хотя и не всегда, 
   оказываются смещенными. Стандартные ошибки коэффициентов и со 
   ответствующие t-тесты в целом становятся некорректными.
2. Если включена переменная, которая не должна присутствовать в 
   уравнении, то оценки коэффициентов регрессии будут несмещенными, однако, вообще говоря (хотя и не всегда), — неэффективными. 
   Стандартные ошибки будут в целом корректны, но из-за неэффективности регрессионных оценок они будут излишне большими.

 

ВЛИЯНИЕ ОТСУТСТВИЯ В УРАВНЕНИИ ПЕРЕМЕННОЙ, КОТОРАЯ ДОЛЖНА БЫТЬ ВКЛЮЧЕНА.

Проблема  смещения

Предположим, что  переменная у зависит от двух переменных х₁, и х₂ в соответствии с соотношением:

однако вы не уверены в значимости х₂. Считая, что модель должна выглядеть как

вы оцениваете регрессию

.

и вычисляете b_l по формуле Cov (x_t , y)/D (x₁) вместо правильного выражения. По определению, b₁, является несмещенной оценкой величины β₁ если M(b₁) равняется  β_1. Практически, если первоначальная модель верна, то

Если опустить х₂ в регрессионном соотношении, то переменная x₁ будет играть двойную роль: отражать свое прямое влияние и заменять переменную х₂ в описании ее влияния. Данное кажущееся опосредованное влияние величины х1, на у будет зависеть от двух факторов: от видимой способности х₁, имитировать поведение х₂ и от влияния величины х₂ на у.

Кажущаяся способность переменной x₁, объяснять поведение х₂ определяется коэффициентом наклона h в псевдорегрессии:

Величина h естественно, рассчитывается при помощи обычной формулы для парной регрессии, в данном случае Cov(x₁,x₂)/D (x₁). Влияние величины х₂, на у определяется коэффициентом β₂,. Таким образом, эффект имитации посредством величины β₂ может быть записан как β₂Соу (х₁, x₂)/D (х₁). Прямое влияние величины х₁, на у описывается с помощью β₁. Таким образом, при оценивании регрессионной зависимости у от переменной х₁, (без включения в нее переменной х₂) коэффициент при х₁, определяется формулой:

b₁+ b₂,Cov (x₁, x₂)/D (х₁) + Ошибка выборки. 

При условии, что  величина х, не является стохастической, ожидаемым значением коэффициента будет сумма первых двух членов этой формулы. Присутствие второго слагаемого предполагает, что математическое ожидание коэффициента будет отличаться от истинной величины β₁, другими словами, оценка будет смещенной.

Таким образом, β₁ смещена на величину, равную β₂Cov (x₁, x₂)/D (x₁). Направление смещения будет зависеть от знака величин β₂ и Cov(x₁,x₂). Например, если β₂ положительна, а также положительна ковариация, то смещение будет положительным, а b₁ будет в среднем давать завышенные оценки β₁,. Самостоятельно вы можете рассмотреть и другие случаи.

Есть, однако, один исключительный случай, когда оценка β₁ остается несмещенной. Это случается, когда выборочная ковариация между х₁, и х₂ в точности равняется нулю. Если Cov (х₁, x₂) = 0, то смещение исчезает. Действительно, коэффициент, полученный с использованием парной регрессии, будет точно таким же, как если бы вы оценили правильно специфицированную множественную регрессию. Конечно, величина смещения здесь равнялась бы нулю и при β₂ = 0, но в этом случае неправильной спецификации не возникает.

 
Неприменимость  статистических тестов

Другим серьезным  следствием невключения переменной, которая на самом деле должна присутствовать в регрессии, является то, что формулы  для стандартных ошибок коэффициентов и тестовые статистики, вообще говоря, становятся неприменимыми. Это, разумеется, означает, что, основываясь на полученных результатах оценки регрессии, в принципе нельзя заниматься проверкой каких-либо гипотез.

 
Влияние включения в модель переменной, которая  не должна быть включена

Допустим, что истинная модель представляется в виде:

 

а вы считаете, что  ею является

 

и рассчитываете  оценку величины b_1, используя формулу

вместо выражения Cov (x₁, y)/D (х₁).

В целом проблемы смещения здесь нет, даже если b₁, будет рассчитана неправильно. Величина M(b₁) остается равной β₁, но в общем оценка будет неэффективной. Она будет более неустойчивой, в смысле наличия большей дисперсии относительноβ₁, чем при правильном вычислении.

Это можно легко объяснить интуитивно. Истинная модель может быть записана в виде:

Таким образом, если вы строите регрессионную зависимость  у от х₁, и х_г, то b₁ будет являться несмещенной оценкой величины β₁, а β₂ будет несмещенной оценкой нуля (при выполнении условий Гаусса—Маркова). Практически вы| обнаруживаете для себя, что β₂, равно нулю. Если бы вы заранее поняли, что β₂ равно нулю, то могли бы использовать эту информацию для исключения и применить парную регрессию, которая в данном случае является более эффективной.

Утрата эффективности  в связи со включением х₂ в случае, когда она не должна была быть включена, зависит от корреляции между х₁, и х₂.

Сравните дисперсии величины β₁ при построении парной и множественной регрессии. 

Дисперсия в  общем окажется большей при множественной  регрессии, и разница будет тем большей, чем ближе коэффициент корреляции к единице или -1. Единственным исключением в связи с проблемой утраты эффективности является вариант, когда коэффициент корреляции точно равен нулю. В этом случае оценка b₁ для множественной регрессии совпадает с оценкой для парной]регрессии. Доказательство этого опустим.

ОТБОР ФАКТОРОВ ПРИ ПОСТРОЕНИИ МНОЖЕСТВЕННОЙ РЕГРЕССИИ

Включение в  уравнение множественной регрессии  того или иного набора факторов связано  прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели урожайности качество 
   почвы задается в виде баллов; в модели стоимости объектов не 
   движимости учитывается место нахождения недвижимости: районы могут быть проранжированы).
2. Факторы не должны быть коррелированы между собой и тем более 
   находиться в точной функциональной связи.

Включение в  модель факторов с высокой интеркорреляцией может привести к нежелательным последствиям — система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Если между  факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.

Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором k факторов, то для нее рассчитывается показатель детерминации R², который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии k факторов. Влияние других не учтенных в модели факторов оценивается как I — R² с соответствующей остаточной дисперсией S².

При дополнительном включении в регрессию k + \ фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться: