Метод наименьших квадрантов

Введение

  Метод наименьших квадратов (МНК) - один из наиболее широко используемых методов при решении многих задач восстановления регрессионных зависимостей. Исследуя природу, общество, экономику, необходимо считаться со взаимосвязью наблюдаемых процессов. При этом полнота описания, так или иначе, определяется количественными характеристиками причинно-следственных связей между ними.

  Метод наименьших квадратов решает проблему оценивания параметров моделей, отражающих изучаемые процессы. МНК в настоящее время широко применяется при обработке количественных результатов естественнонаучных опытов, социально-экономических данных, технических, астрономических и геодезических наблюдений и измерений.

  Метод наименьших квадратов незаменим для получения конкретных прогнозов, что объясняется его простотой и легкостью реализации на ЭВМ. Недостаток метода состоит в том, что модель тренда жестко фиксируется, и с помощью МНК можно получить надежный прогноз на небольшой период упреждения. Поэтому МНК относится главным образом к методам краткосрочного прогнозирования. Кроме того, существенной трудностью МНК является правильный выбор вида модели, а также обоснование и выбор весов во взвешенном методе наименьших квадратов.

 

 

 

 

 

 

1.Сущность метода наименьших квадратов

  Метод наименьших квадратов (МНК, OLS, Ordinary Least Squares) — один из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Метод основан на минимизации суммы квадратов остатков регрессии.

  Необходимо отметить, что собственно методом наименьших квадратов можно назвать метод решения задачи в любой области, если решение заключается или удовлетворяет некоторому критерию минимизации суммы квадратов некоторых функций от искомых переменных. Поэтому метод наименьших квадратов может применяться также для приближённого представления (аппроксимации) заданной функции другими (более простыми) функциями, при нахождении совокупности величин, удовлетворяющих уравнениям или ограничениям, количество которых превышает количество этих величин.

  До начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805—06) и Гауссу (1794—95) принадлежит первое применение к решению указанной системы уравнений теории вероятностей, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но зато даёт наиболее вероятные значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть величины, по которым судят о степени точности выводов.

Пусть задана некоторая (параметрическая) модель вероятностной (регрессионной) зависимости между (объясняемой) переменной y и множеством факторов (объясняющих переменных) x

где -вектор неизвестных параметров модели

-случайная ошибка модели.

Пусть также  имеются выборочные наблюдения значений указанных переменных. Пусть  - номер наблюдения ( ). Тогда - значения переменных в -м наблюдении. Тогда при заданных значениях параметров b можно рассчитать теоретические (модельные) значения объясняемой переменной y:

Тогда можно  рассчитать остатки регрессионной  модели - разницу между наблюдаемыми значениями объясняемой переменной и теоретическими (модельными, оцененными):

Величина остатков зависит от значений параметров b.

Сущность МНК (обычного, классического) заключается  в том, чтобы найти такие параметры b, при которых сумма квадратов  остатков будет минимальной:

В общем случае решение этой задачи может осуществляться численными методами оптимизации (минимизации). В этом случае говорят о нелинейном МНК (NLS или NLLS - англ. Non-Linear Least Squares). Во многих случаях возможно аналитическое решение. Для решения задачи минимизации необходимо найти стационарные точки функции RSS(b) - продифференцировать функцию по неизвестным параметрам b, приравнять производные к нулю и решить полученную систему уравнений:

Если случайные  ошибки модели имеют нормальное распределение, имеют одинаковую дисперсию и некоррелированы между собой, МНК-оценки параметров совпадают с оценками метода максимального правдоподобия (ММП).

 

 

 

 

 

 

 

2.Обобщенный метод наименьших квадратов

  Обобщённый метод наименьших квадратов (ОМНК, GLS — англ. Generalized Least Squares) — метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщенный метод наименьших квадратов сводится к минимизации «обобщённой суммы квадратов» остатков регрессии — , где -вектор остатков, -симметрическая положительно определенная весовая матрица. Обычный МНК является частным случаем обобщённого, когда весовая матрица пропорциональна единичной.

  Необходимо отметить, что обычно обобщённым методом наименьших квадратов называют частный случай, когда в качестве весовой матрицы используется матрица, обратная ковариационной матрице случайных ошибок модели.

 Известно, что симметрическую  положительно определенную матрицу  можно разложить как  , где P-некоторая матрица. Тогда обобщенная сумма квадратов может быть представлена как сумма квадратов преобразованных (с помощью P) остатков . Для линейной регрессии это означает, что минимизируется величина:

то есть фактически суть обобщенного МНК сводится к линейному преобразованию данных и применению к этим данным обычного МНК. Если в качестве весовой матрицы используется обратная ковариационная матрица случайных ошибок, преобразование P приводит к тому, что преобразованная модель удовлетворяет классическим предположениям (Гаусса-Маркова), следовательно оценки параметров с помощью обычного МНК будут наиболее эффективными в классе линейных несмещенных оценок. А поскольку параметры исходной и преобразованной модели одинаковы, то отсюда следует утверждение — оценки ОМНК являются наиболее эффективными в классе линейных несмещенных оценок (теорема Айткена). Формула обобщенного МНК имеет вид:

Ковариационная  матрица этих оценок равна

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3.Свойства метода наименьших квадратов

  В первую  очередь, отметим, что для линейных моделей МНК-оценки являются линейными оценками, как это следует из вышеприведенной формулы. Для несмещенности МНК-оценок необходимо и достаточно выполнения важнейшего условия регрессионного анализа: условное по факторам математическое ожидание случайной ошибки должно быть равно нулю. Данное условие, в частности, выполнено, если, во-первых, математическое ожидание случайных ошибок равно нулю , во-вторых, факторы и случайные ошибки - независимые случайные величины. Первое условие можно считать выполненным всегда для моделей с константой, так как константа берет на себя ненулевое математическое ожидание ошибок (поэтому модели с константой в общем случае предпочтительней). Второе условие - условие экзогенности факторов - принципиальное. Если это свойство не выполнено, то можно считать, что практически любые оценки будут крайне неудовлетворительными -они не будут даже состоятельными (то есть даже очень большой объем данных не позволяет получить качественные оценки в этом случае). В классическом случае делается более сильное предположение о детерминированности факторов, в отличие от случайной ошибки, что автоматически означает выполнение условия экзогенности. В общем случае для состоятельности оценок достаточно выполнения условия экзогенности вместе с со сходимостью матрицы к некоторой невырожденной матрице при увеличении объема выборки до бесконечности.

  Для того, чтобы кроме  состоятельности и несмещенности, оценки (обычного) МНК были еще и эффективными (наилучшими в классе линейных несмещенных оценок) необходимо выполнение дополнительных свойств случайной ошибки:

1)постоянная (одинаковая) дисперсия  случайных ошибок во всех наблюдениях  (отсутствие гетероскедастичности):

2)отсутствие корреляции (автокорреляции) случайных ошибок в разных наблюдениях между собой

Данные предположения  можно сформулировать для ковариационной матрицы вектора случайных ошибок

  Линейная модель, удовлетворяющая таким условиям, называется классической. МНК-оценки для классической линейной регрессии являются несмещенными, состоятельными и наиболее эффективными оценками в классе всех линейных несмещенных оценок (в англоязычной литературе иногда употребляют аббревиатуру BLUE - Best Linear Unbaised Estimator - наилучшая линейная несмещенная оценка) Как нетрудно показать, ковариационная матрица вектора оценок коэффициентов будет равна

  Эффективность означает, что эта ковариационная матрица является "минимальной" (любая линейная комбинация коэффициентов, и в частности сами коэффициенты, имеют минимальную дисперсию), то есть в классе линейных несмещенных оценок оценки МНК-наилучшие. Диагональные элементы этой матрицы - дисперсии оценок коэффициентов - важные параметры качества полученных оценок. Однако рассчитать ковариационную матрицу невозможно, поскольку дисперсия случайных ошибок неизвестна. Можно доказать, что несмещенной и состоятельной (для классической линейной модели) оценкой дисперсии случайных ошибок является величина:

Подставив данное значение в формулу для ковариационной матрицы и получим оценку ковариационной матрицы. Полученные оценки также являются несмещенными и состоятельными. Важно также то, что оценка дисперсии ошибок (а значит и дисперсий коэффициентов) и оценки параметров модели являются независимыми случайными величинами, что позволяет получить тестовые статистики для проверки гипотез о коэффициентах модели.

Необходимо  отметить, что если классические предположения  не выполнены, МНК-оценки параметров не являются наиболее эффективными оценками (оставаясь несмещенными и состоятельными). Однако, еще более ухудшается оценка ковариационной матрицы - она становится смещенной и несостоятельной. Это означает, что статистические выводы о качестве построенной модели в таком случае могут быть крайне недостоверными. Одним из вариантов решения последней проблемы является применение специальных оценок ковариационной матрицы, которые являются состоятельными при нарушениях классических предположений (стандартные ошибки в форме Уайта и стандартные ошибки в форме Ньюи-Уеста). Другой подход заключается в применении так называемого обобщенного МНК.

 

 

 

 

 

 

 

 

 

4.Эффективность метода наименьших квадратов

  Свойство  эффективности оценок неизвестных параметров модели регрессии, полученных методом наименьших квадратов, доказывается с помощью теоремы Гаусса-Маркова.

Сделаем следующие  предположения о модели парной регрессии:

1) факторная  переменная xi– неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии βi;

2) математическое  ожидание случайной ошибки модели  регрессии равно нулю во всех  наблюдениях:

3) дисперсия  случайной ошибки модели регрессии  постоянна для всех наблюдений:;

4) между значениями  случайных ошибок модели регрессии  в любых двух наблюдениях отсутствует  систематическая взаимосвязь, т.  е. случайные ошибки модели  регрессии не коррелированны  между собой (ковариация случайных  ошибок любых двух разных наблюдений  равна нулю):

Это условие  выполняется в том случае, если исходные данные не являются временными рядами;

5) на основании  третьего и четвёртого условий  часто добавляется пятое условие,  заключающееся в том, что случайная  ошибка модели регрессии –  это случайная величина, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией G2: εi~N(0, G2).

Если выдвинутые предположения справедливы, то оценки неизвестных параметров модели парной регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров β0 и β1.

Если выдвинутые предположения справедливы для  модели множественной регрессии, то оценки неизвестных параметров данной модели регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров β0…βn.

Для обозначения  дисперсий МНК-оценок неизвестных параметров модели регрессии используется матрица ковариаций.

Матрицей ковариаций МНК-оценок параметров линейной модели парной регрессии называется выражение вида:

где

– дисперсия МНК-оценки параметра модели регрессии β0;

– дисперсия МНК-оценки параметра модели регрессии β1.

Матрицей ковариаций МНК-оценок параметров линейной модели множественной регрессии называется выражение вида:

 

где G2(ε) – это дисперсия случайной ошибки модели регрессии ε.

Для линейной модели парной регрессии дисперсии оценок неизвестных параметров определяются по формулам:

1) дисперсия  МНК-оценки коэффициента модели  регрессии β0:

2) дисперсия  МНК-оценки коэффициента модели  регрессии β1:

где G2(ε) – дисперсия случайной ошибки уравнения регрессии β;