Метод наименьших квадрантов

G2(x) – дисперсия независимой переменой модели регрессии х;

n – объём выборочной совокупности.

В связи с  тем, что на практике значение дисперсии  случайной ошибки модели регрессии G2(ε) неизвестно, для вычисления матрицы ковариаций МНК-оценок применяют оценку дисперсии случайной ошибки модели регрессии S2(ε).

Для линейной модели парной регрессии оценка дисперсии  случайной ошибки определяется по формуле:

где

– это остатки регрессионной модели, которые рассчитываются как

Тогда оценка дисперсии  МНК-оценки коэффициента β0 линейной модели парной регрессии будет определяться по формуле:

Оценка дисперсии  МНК-оценки коэффициента β1линейной модели парной регрессии будет определяться по формуле:

Для модели множественной  регрессии общую формулу расчёта  матрицы ковариаций МНК-оценок коэффициентов на основе оценки дисперсии случайной ошибки модели регрессии можно записать следующим образом:

5.Состоятельность и несмещенность метода наименьших квадратов

Предположим, что  методом наименьших квадратов получена оценка

Для того, чтобы  данная оценка могла быть принята  за оценку параметра

необходимо  и достаточно выполнения трёх статистических свойств:

1) свойства несмещённости;

2) свойства состоятельности;

3) свойства эффективности.

Сделаем следующие  предположения об отклонениях єi:

1) величина єiявляется случайной переменной;

2) математическое  ожидание єiравно нулю: М (єi) = 0;

3) дисперсия  є постоянна: D(єi) = D(єi) = s 2 для всех i, j;

4) значения єiнезависимы между собой, следовательно, справедливо следующее выражение:

Если данные предпосылки выполняются, то оценки, найденные с помощью метода наименьших квадратов, обладают свойствами несмещённости, состоятельности и эффективности.

Если третье и четвёртое предположения не выполняются, т. е. дисперсия случайных  компонент непостоянна и/или значения є коррелируют друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности – нет.

Величина

называется несмещённой оценкой параметра

если её выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности:

Отсюда следует, что

где φi – это величина смещения оценки.

Рассмотрим  свойство несмещённости МНК-оценок на примере модели парной регрессии.

Необходимо  доказать, что оценка

полученная  методом наименьших квадратов, является несмещённой оценкой параметра β1 для нормальной линейной модели регрессии, т. е. необходимо доказать справедливость равенства

Доказательство. Проведём доказательство утверждения

через ковариационную матрицу:

То же самое  утверждение

можно доказать в более развёрнутом виде:

Следовательно, оценка

полученная  методом наименьших квадратов, является несмещённой оценкой коэффициента β1 нормальной линейной модели парной регрессии.

Свойство несмещённости  оценки

коэффициента β0нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.

Для модели множественной  регрессии доказательство свойства несмещённости оценок параметров βi, полученных методом наименьших квадратов, целесообразно провести в матричной форме:

Следовательно, оценки

полученные  методом наименьших квадратов, являются несмещёнными оценками коэффициентов βiнормальной линейной модели множественной регрессии.

Величина

является состоятельной оценкой параметра

если она  удовлетворяет закону больших чисел. Суть закона больших чисел состоит в том, что с увеличением выборочной совокупности значение оценки

стремится к  значению параметра

генеральной совокупности:

Условие состоятельности  можно также записать через теорему Бернулли:

т. е. значение оценки

сходится по вероятности к значению параметра

генеральной совокупности, при условии, что объём выборочной совокупности стремится к бесконечности.

На практике оценка

полученная  методом наименьших квадратов, считается  состоятельной оценкой параметра,

если выполняются  два условия:

1) смещение оценки  равно нулю или стремится к  нему при объёме выборки, стремящемся  к бесконечности:

2) дисперсия  оценки параметра

стремится к нулю при объёме выборки, стремящемся к бесконечности:

Рассмотрим  свойство состоятельности МНК-оценок на примере модели парной регрессии.

Необходимо  доказать, что оценка

полученная  методом наименьших квадратов, является состоятельной оценкой параметра β1для нормальной линейной модели регрессии.

Доказательство. Докажем первое условие состоятельности для МНК-оценки

 

Докажем второе условие состоятельности для  МНК-оценки

МНК-оценка

подчиняется нормальному  закону распределения с математическим ожиданием β1 и дисперсией

или

где индекс 22 указывает  на расположение дисперсии параметра β1в матрице ковариаций.

Свойство состоятельности  оценки

коэффициента β0 нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.

Оценка стандартной  ошибки МНК-оценки

определяется  по формуле:

Для модели множественной  регрессии доказательство свойства несмещённости оценок параметров βi, полученных методом наименьших квадратов, целесообразно провести в матричной форме:

Следовательно, оценки

полученные  методом наименьших квадратов, являются несмещёнными оценками коэффициентов βiнормальной линейной модели множественной регрессии.

Эффективность МНК-оценок доказывается с помощью  теоремы Гаусса-Маркова.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Заключение

  Во многих  практически важных случаях (и  в частности, при оценке сложных  нелинейных связей) количество неизвестных  параметров бывает весьма большим  и поэтому реализация метода  наименьших квадратов оказывается  эффективной лишь при использовании современной вычислительной техники.

  Недостаток  метода состоит в том, что  модель тренда жестко фиксируется,  и с помощью МНК можно получить  надежный прогноз на небольшой  период упреждения. Поэтому МНК  относится главным образом к  методам краткосрочного прогнозирования. Кроме того, существенной трудностью МНК является правильный выбор вида модели, а также обоснование и выбор весов во взвешенном методе наименьших квадратов.

 

 

 

 

 

 

 

 

 

 

 

 

Список используемой литературы

1. Колесникова  И.И. Социально-экономическая статистика: учебное пособие. – М.: Финансы и статистика, 2006. – 517 с.

2. Статистика: Курс  лекций / Л.П. Харченко и др.; Под  ред. к.э.н. В.Г. Ионина. – Новосибирск:  изд-во НГАЭиУ, М.: ИНФРА-М, 1999. – 310 с

3. Сборник задач  по теории статистики: Учебное пособие/ Под ред. проф. В.В.Глинского и к.э.н., доц. Л.К.Серга. – Изд.3-е.- М.:ИНФРА-М; Новосибирск: Сибирское соглашение, 2002.

4. Статистика / Под редакцией И.И. Елисеевой. - М: Высшее образование, 2007.

5. Елисеева И.И.  Юзбашев М.М. Общая теория статистики. Учебник,- М.: Финансы и статистика, 2007

6. Ефимова М.Р.  Общая теория статистики : Учебник.  – М.: ИНФРА–М, 2002.

7. Социально-экономическая  статистика : Учеб. пособие для вузов  / Под ред. В.Н. Салина, Е.П. Шпактовской.  – М.: Финансы и статистика, 2003.

8. Сайт Госкомстата РФ. http://www.gks.ru

9. Гусаров В.М. Статистика: Учебное пособие для вузов.  – М.: ЮНИТИ-ДАНА, 2006.