Замещающие  переменные 

Часто бывает, что  вы не можете найти данных по переменной, которую хотелось бы включить в уравнение регрессии. Некоторые переменные, относящиеся к социально-экономическому положению или к качеству образования, имеют такое расплывчатое определение, что их в принципе даже невозможно измерить. Другие могут поддаваться измерению, но оно требует столько времени и энергии, что на практике их приходится отбрасывать. Иногда вы можете быть расстроены тем, что пользуетесь какими-то данными, собранными другим человеком, в которых (с вашей точки зрения) опущена важная переменная.

Независимо от причины обычно бывает полезно вместо отсутствующей переменной использовать некоторый ее заменитель (proxy), а не пренебрегать ею совершенно. В качестве показателя общего социально-экономического положения вы можете использовать его заменитель — показатель дохода, если данные о нем имеются. В качестве показателя качества образования можно использовать отношение числа преподавателей и сотрудников к числу студентов или расходы на одного студента. Вместо переменной, опущенной в каком-либо обзоре, вы можете обратиться к другим, уже фактически собранным данным, если в них имеется подходящая замещающая переменная.

Имеются две  причины для поиска такой переменной. Во-первых, если вы просто опустите важную переменную, то регрессия может пострадать от смещения оценок, описанного выше, и статистическая проверка будет неполноценной. Во-вторых, результаты оценки регрессии с включением замещающей переменной могут дать косвенную информацию о той переменной, которая замещена данной переменной.

 
Непреднамеренное  использование замещающих переменных

Иногда случается, что вы используете замещающую переменную, не осознавая этого. Вы полагаете, что у зависит от z, а в действительности эта величина зависит от х.

Если корреляция между величинами z и х незначительна, то результаты будут плохими, и вы поймете, что тут что-то неладно. Но если корреляция тесная, то результаты окажутся удовлетворительными (коэффициент R² будет близок к желаемому уровню и т. п.), и вы можете даже не подозревать, что полученное соотношение неверно.

Имеет ли это  какое-то значение? Это, во-первых, зависит  от того, с какой целью вы строите данную регрессию. Если целью оценивания регрессии является предсказание будущих значений величины у, то использование замещающей переменной не будет иметь большого значения при условии, конечно, что корреляция тесная и не является в то же время статистической счастливой случайностью. Однако если вы намерены использовать объясняющую переменную в качестве инструмента экономической политики для оказания влияния на поведение зависимой переменной, то последствия могут оказаться катастрофическими. Если только не будет функциональной связи между замещающей переменной и истинной объясняющей переменной, манипулирование замещающей переменной не окажет никакого влияния на зависимую переменную. Если мотивом построения регрессии является чисто научное любопытство, то исход будет столь же неудовлетворительным.

Непреднамеренное использование замещающих переменных особенно распространено при анализе временных рядов, в частности в макроэкономических моделях. Если истинная объясняющая переменная имеет временной тренд, то вы, вероятно, получите хорошую оценку формулы, если замените (преднамеренно или нет) ее на любую другую переменную с временным трендом. Даже если вы связываете приращения зависимой переменной с приращениями объясняющей переменной, вы, вероятно, получите аналогичные результаты независимо от того, используется ли правильная объясняющая переменная или же замещающая переменная, поскольку макроэкономические переменные обычно изменяются взаимосвязанно, в соответствии с экономическим циклом.

 
Гетероскедастичность  и ее последствия

Во втором условии  Гаусса—Маркова утверждается, что дисперсия случайного члена в каждом наблюдении должна быть постоянной. Такое утверждение может показаться странным, и здесь требуется пояснение. Случайный член в каждом наблюдении имеет только одно значение, и может возникнуть вопрос о том, что означает его «дисперсия».

Имеется в виду его возможное поведение до того, как сделана выборка. Когда мы записываем модель, первые два условия Гаусса—Маркова указывают, что случайные члены e₁, e₂, ..., e_п в п наблюдениях появляются на основе вероятностных распределений, имеющих нулевое математическое ожидание и одну и ту же дисперсию. Их фактические значения в выборке иногда будут положительными, иногда — отрицательными, иногда — относительно далекими от нуля, иногда — относительно близкими к нулю, но у нас нет причин a priori ожидать появления особенно больших отклонений в любом данном наблюдении. Другими словами, вероятность того, что величина e примет какое-то данное положительное (или отрицательное) значение, будет одинаковой для всех наблюдений. Это условие известно как гомоскедастичность, что означает «одинаковый разброс». Оно проиллюстрировано в левой части рис.

Вместе с тем  для некоторых выборок, возможно, более целесообразно предположить, что теоретическое распределение случайного члена является разным для различных наблюдений в выборке. В правой части рис. дисперсия величины и, увеличивается по мере продолжения выборочных наблюдений. Это не означает, что случайный член обязательно будет иметь особенно большие (положительные или отрицательные) значения в конце выборки, но это значит, что априорная вероятность получения сильно отклоненных величин будет относительно высока. Это пример гетероскедастичности, что означает «неодинаковый разброс». Математически гомоскедастичность и гетероскедастичность могут определяться следующим образом:

Гомоскедастичность: D (e_i,) = σ² постоянна для всех наблюдений;

Гетероскедастичность: D (e_i²) = σ_i², она не обязательно одинакова для всех i.

Модель с гетероскедастичным случайным членом.

На рисунке показано как будет выглядеть характерная диаграмма рассеяния, если у — возрастающая функция от х и имеется гетероскедастичность. Можно видеть, что, хотя наблюдения не обязательно все дальше отстоят от основной нестохастической составляющей линии регрессии по мере роста х все же имеется тенденция к увеличению их разброса. 

При отсутствии гетероскедастичности обычные коэффициенты регрессии имеют наиболее низкую дисперсию среди всех несмещенных  оценок, являющихся линейными функциями  от наблюдений у. Если имеет место гетероскедастичность, то оценки МНК, которые мы до сих пор использовали, неэффективны. Можно, по меньшей мере в принципе, найти другие оценки, которые имеют меньшую дисперсию и, тем не менее, являются несмещенными.

Вторая, не менее  важная причина заключается в том, что сделанные оценки стандартных ошибок коэффициентов регрессии будут неверны. Они вычисляются на основе предположения о том, что распределение случайного члена гомоскедастично; если это не так, то они неверны. Вполне вероятно, что стандартные ошибки будут занижены, а следовательно,t-статистика — завышена, и будет получено неправильное представление о точности оценки уравнения регрессии. Возможно, вы решите, что коэффициент значимо отличается от нуля при данном уровне значимости, тогда как в действительности это не так.

Свойство неэффективности  можно легко объяснить интуитивно. Предположим, что имеется гетероскедастичность типа, показанного на рисунке/ Наблюдение, для которого теоретическое распределение случайного члена имеет малое стандартное отклонение будет обычно находиться близко к линии регрессии и, следовательно, может стать хорошим направляющим ориентиром, указывающим место этой линии. В противоположность этому наблюдение, где теоретическое распределение имеет большое стандартное отклонение  не сможет существенно помочь в определении местоположения линии регрессии. Обычный МНК не делает различия между качеством наблюдений, придавая одинаковые «веса» каждому из них независимо от того, является ли наблюдение хорошим или плохим для определения местоположения этой линии. Из этого следует, что, если мы сможем найти способ придания большего «веса» наблюдениям высокого качества и меньшего — наблюдениям низкого качества, мы, вероятно, получим более точные оценки.        Другими словами, оценки для α и β будут более эффективными.

Тест  ранговой корреляции Спирмена

При выполнении теста ранговой корреляции Спирмена предполагается, что дисперсия случайного члена будет либо увеличиваться, либо уменьшаться по мере увеличения х, и поэтому в регрессии, оцениваемой с помощью МНК, абсолютные величины остатков и значениях будут коррелированы. Данные пол: и остатки упорядочиваются, и коэффициент ранговой корреляции определяется как 

где   – разность между рангом x и рангом e. 

Если предположить, что коэффициент корреляции для  генеральной совокупности равен нулю, то коэффициент ранговой корреляции имеет нормальное распределение с математическим ожиданием 0 и дисперсией 1/(n — 1) в больших выборках. Следовательно, соответствующая тестовая статистика равна  

и при использовании  двустороннего критерия нулевая  гипотеза об отсутствии гетероскедастичности будет отклонена при уровне значимости в 5%, если она превысит 1,96, и при уровне значимости в 1%, если она превысит 2,58. Если в модели регрессии имеется более одной объясняющей переменной, то проверка гипотезы может выполняться с использованием любой из них.

Тест  Голдфелда—Квандта

Вероятно, наиболее популярным формальным критерием является критерий, предложенный С. Голдфелдом и Р. Квандтом (Goldfeld, Quandt, 1956). При проведении проверки по этому критерию предполагается, что стандартное отклонение (σ_i) распределения вероятностей и, пропорционально значению х в этом наблюдении. Предполагается также, что случайный член распределен нормально и не подвержен автокорреляции.

Все п наблюдений в выборке упорядочиваются по величине х, после чего оцениваются отдельные регрессии для первых n’ и для последних n' наблюдений; средние (п — 2n') наблюдений отбрасываются. Если предположение относительно природы гетероскедастичности верно, то дисперсия e в последних n' наблюдениях будет больше, чем в первых n', и это будет отражено в сумме квадратов остатков в двух указанных «частных» регрессиях. Обозначая суммы квадратов остатков в регрессиях для первых n'и последних n' наблюдений соответственно через RSS₁ и RSS₂, рассчитаем отношение RSS₂/RSS₁, которое имеет F-распределение с (п’ — k — 1) и (п'– k— 1) степенями свободы, где k — число

объясняющих переменных в регрессионном уравнении. Мощность критерия зависит от выбора п' по отношению к п. Основываясь на результатах некоторых проведенных ими экспериментов, С. Голдфелд и Р. Квандт утверждают, что n’должно составлять порядка 11, когда п = 30, и порядка 22, когда п = 60. Если в модели имеется более одной объясняющей переменной, то наблюдения должны упорядочиваться по той из них, которая, как предполагается, связана с σ_i, и п ' должно быть больше, чем k + 1 (где k — число объясняющих переменных). Метод Голдфелда—Квандта может также использоваться для проверки на гетероскедастичность при предположении, что а, обратно пропорционально x_i,. При этом используется та же процедура, что и описанная выше, но тестовой статистикой теперь является показатель RSS_t/RSS₂, который вновь имеет/"-распределение с (п'— k– 1) и (п'– k– 1) степенями свободы.

Тест  Глейзера

Тест Глейзера позволяет несколько более тщательно  рассмотреть характер гетероскедастичности. Мы снимаем предположение о том, что σ_i, пропорционально х_i, и хотим проверить, может ли быть более подходящей какая-либо другая функциональная форма, например 

Чтобы использовать данный метод,  следует оценить  регрессионную зависимость у от x с помощью обычного МНК, а затем вычислить абсолютные величины остатков по приведенной функции для данного значения γ.  Можно построить несколько таких функций, изменяя значение γ.  В каждом случае нулевая гипотеза об отсутствии гетероскедастичности будет отклонена, если оценка β значимо отличается от нуля. Если при оценивании более чем одной функции получается значимая оценка β, то ориентиром при определении характера гетероскедастичности может служить наилучшая из них. 

Что можно сделать в случае гетероскедастичности? 

Обобщгнный  МНК.

Пусть σ_i, — стандартное отклонение случайного члена в наблюдении i. В том случае если бы было известно σ_i, для каждого наблюдения, можно было бы устранить гетероскедастичность, разделив каждое наблюдение на соответствующее ему значение σ_i. Тогда случайный член в i-м наблюдении становится равным e_i/σ_i, и его теоретическая дисперсия представляется в виде:

,

что равняется