Классический метод наименьших квадратов

 

 

 

 

 

 

 

 

Классический  метод наименьших квадратов.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Содержание.

Введение…………………………………………………………………….3

1. Процедура оценки параметров  по методу наименьших квадратов…..5

2. Свойства оценок МНК…………………………………………………..9

Заключение………………………………………………………………..21

Список использованной литературы…………………………………….22

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение.

Эконометрика (econometrics) —  наука о применении статистических и математических методов в экономическом  анализе для проверки правильности экономических теоретических моделей и способов решения экономических проблем. Эконометрика позволяет расширить инструментарий построения статистических моделей экономических показателей.

В этой связи можно  сказать, что основная задача эконометрики состоит в построении моделей специфического типа (эконометрических моделей), описывающих взаимообусловленное развитие социально-экономических процессов, на основе информации, отражающей распределение их уровней во времени или (и) в пространстве однородных объектов. Эти модели используются в анализе и прогнозировании общих закономерностей и конкретных количественных характеристик рассматриваемых процессов, определении управляющих воздействий.

Наш мир не идеален, ни в чем нельзя быть уверенным с  абсолютной точностью. Кто помнит лабораторные работы по физике, тот должен знать, что измерение какой-либо физической величины обычно проводят несколько раз при различных условиях, а найденный результат записывают в виде 20,3±2,3. Это необходимо для того, чтобы нейтрализовать погрешности приборов, трясущиеся руки экспериментатора, вспышки на солнце и так далее.

Метод наименьших квадратов (далее МНК), о котором пойдет речь в работе, является одним из способов противостоять ошибкам измерений.

Метод наименьших квадратов (МНК) является одним из наиболее разработанных и распространенных вследствие своей относительной простоты и эффективности методов оценки параметров линейных эконометрических моделей. Он не предъявляет жестких требований к закону распределения ошибок моделей. Вследствие этого оценки коэффициентов моделей, полученные на основе МНК, не зависят от фактического (или предполагаемого) закона распределения.

Актуальность данной темы и определила тему работы.

Целью работы является рассмотрение методики классического метода наименьших квадратов.

Для достижения поставленной цели необходимо решить следующие задачи:

• рассмотреть применение метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии;
• изучить свойства оценок МНК;
• рассмотреть применение МНК на конкретном примере.

Объектом исследования является метод наименьших квадратов. Предметом изучения является процедура  оценки параметров по методу наименьших квадратов, а также свойства оценок МНК.

Работа состоит из введения, основной части, которая включает в себя рассмотрение теоретических вопросов, заключения.

При анализе различных  источников информации  предпочтение отдано работам, описывающим не просто математический и статистический базисы исследуемых методов, но и их практическое применение.

 

 

 

 

 

 

 

 

1. Процедура оценки параметров по методу наименьших квадратов.

В “классическом” варианте МНК в отношении свойств ошибки модели e_t  выдвигаются следующие предположения:

– ошибка имеет нулевое математическое ожидание, M[e_t]=0;

– ее дисперсия конечна и постоянна, s_e²=const;

– автокорреляционные связи в ряду ошибки отсутствуют, т. е. r₁=r₂=...=0, где r_i – коэффициент автокорреляции рядов e_t и e_t–i, i=1,2,... ;

– ряд значений ошибки статистически  не связан с рядами значений независимых переменных модели [5, с.358].

Рассмотренные предположения определяют ошибку модели как процесс белого шума с ковариационной матрицей ее вектора ошибки, имеющей следующий вид: Cov(e)=s_e²×Е.

Рассмотрим общую схему  процедуру оценки параметров линейной эконометрической модели на основе МНК более подробно. Такая модель в общем виде представлена уравнением (1):

y_t=a₀+a₁ х_1t +...+a_nх_nt +e_t.          (1)

Исходными данными при  оценке параметров a₀, a₁,..., a_n являются измеренные (наблюдаемые) значения зависимой переменной, которые можно представить в виде вектора-столбца,

Наблюдаемые значения независимых  переменных объединим в матрицу следующего вида:

                                    Х =         

 

Cвое название МНК  получил, исходя из смыслового  содержания критерия, которому должны удовлетворять полученные на его основе оценки параметров эконометрической модели: сумма квадратов значений фактической ошибки модели должна быть минимальной.

Иными словами, найденные с помощью МНК оценки a₀, a₁,..., a_n,  обеспечивают минимум следующей квадратичной формы на множестве всех других комбинаций значений таких оценок:

    

где e_t  – значение фактической ошибки модели в момент t=1,2,..., Т,  полученное после подстановки в выражение (1) вместо неизвестных истинных значений параметров a₀, a₁,..., a_n  их оценок a₀, a₁,..., a_n.

Оптимальные по данному  критерию значения оценок в этом случае могут быть найдены путем решения следующей системы так называемых “нормальных” уравнений, вытекающей из условия равенства нулю частных производных функции s² (a₀, a₁,..., a_n) по своим параметрам в точке минимума:

 

В системе (2.3) неизвестными являются оценки параметров a₀, a₁,..., a_n, а ее известные коэффициенты сформированы на основе исходных данных и представлены в виде следующих сумм: i,j=1,2,..., п. Решения, получаемые на основе развернутой формы системы (2.3), достаточно громоздки, и поэтому в дальнейшем в математических выкладках общего характера будем использовать векторно-матричную форму представления ее составляющих.

Векторно-матричная форма записи линейной эконометрической модели (1) имеет следующий вид:

                                     у=Х×a+e,                                     (2.4)

где у – вектор-столбец, состоящий из Т компонент; Х – матрица размера Т´(п+1) (если в модели присутствует “свободный” коэффициент a₀); a=(a₀, a₁,..., a_n)¢– вектор-столбец параметров, состоящий из п+1-й компоненты; e – вектор-стобец ошибки модели, состоящий, как и вектор у, из Т компонент.

Соответственно векторно-матричный  вариант модели, в котором вместо неизвестных истинных коэффициентов a и ошибок e используются их оценки, т. е. вектора а и е, запишем в следующем виде:

                                     у=Х×а+е,                                     (2.5)

где а=(а₀, а₁,..., а_n)¢, е=(е₁, е₂,..., е_Т)¢– вектора значений оценок коэффициентов линейной эконометрической модели и значений ее фактической ошибки соответственно [4, с.175].

Сумму квадратов значений ошибки s² можем представить в виде скалярного произведения вектора-строки е¢ на вектор-столбец е. Проводя несложные преобразования с учетом правил произведения векторов и матриц, получим следующий результат:

s² =(е¢, е)=(у–Х×a)¢(у–Х×a)= у¢у–a¢Х¢у–у¢Хa+a¢Х¢Хa=у¢у–2a¢Х¢у+a¢Х¢Хa.   (2.6)

При проведении преобразований учитывалось правило транспонирования векторно-матричного произведения (z×W)¢=(W¢×z¢).

Условие (2.3) в векторной  форме записи приобретает следующий вид:

                                 ¶s²/¶a=0.                                     (2.7)

Заметим, что в выражении (2.7) операция дифференцирования осуществляется по вектору.

С учетом выражения (2.6) уравнение (2.7) приводится к следующему виду:

         ¶s²/¶a=¶(у¢у–2a¢Х¢у+a¢Х¢Хa)/¶a=–2Х¢у+2Х¢Хa=0

или                               Х¢Хa=Х¢у.

Откуда следует, что  “оптимальный” вектор оценок параметров a определяется на основе следующего векторно-матричного выражения:

                                      a=(Х¢Х)^–1×Х¢у.                                             (2.8)

Все переменные в правой части выражения (2.8) являются известными – это исходные данные, сведенные  в матрицу Х  и вектор у.

Рассмотрим применение МНК на конкретном примере. Имеются  данные о цене на нефть x (долларов за баррель) и индексе акций нефтяной компании y (в процентных пунктах). Требуется  найти эмпирическую формулу, отражающую связь между ценой на нефть  и индексом акций нефтяной компании исходя из предположения, что связь между указанными переменными линейна и описывается функцией вида yi=β0+β1xi. Зависимой переменной (y) в данной регрессионной модели будет являться индекс акций нефтяной компании, а независимой (x) — цена на нефть.

Для нахождения коэффициентов  β0 и β1 построим вспомогательную  таблицу 1.

                                                                                                       Таблица 1

Таблица для нахождения коэффициентов β0 и β1

№ наблюдения	Цена на нефть – х, ден.ед.	Индекс нефтяной компании - %	xi *yi	хi2
1	17,28	537	9279,36	298,5984
2	17,05	534	9104,70	290,7025
3	18,30	550	10 065,00	334,8900
4	18,80	555	10 434,00	353,4400
5	19,20	560	10 752,00	368,6400
6	18,50	552	10 212,00	342,2500
Сумма по столбцу	110,13	3288	59 847,06	1988,52

Запишем систему нормальных уравнений исходя из данных таблицы:

1988,52β + 110,13β = 59847,06,

110,13β + 6β = 3288.

Решением данной системы  нормальных уравнений будут следующие  числа:  β1=15,317; β0=266,86. Таким образом, уравнение регрессии, описывающее зависимость между ценой на нефть и индексом акций нефтяной компании, можно записать как: y = 15,317x + 266,86.

На основании полученного  уравнения регрессии можно сделать  вывод о том, что с изменением цены на нефть на 1 денежную единицу за баррель индекс акций нефтяной компании изменяется примерно на 15,317 процентных пункта.

2. Свойства оценок МНК.

Рассмотрим основные условия, при которых оценки коэффициентов  линейной эконометрической модели, во-первых, могут быть в принципе найдены, а, во-вторых, их “качество” будет “достаточно высоким”, что является определенным свидетельством и достаточного качества построенной модели.

 “Качество” оценок, их свойства тесно связаны со “статистической” трактовкой исходных данных и,  в первую очередь, независимых переменных. Рассмотрим сначала случай, когда измеренные (наблюдаемые) значения независимых факторов трактуются как детерминированные (неслучайные) величины.

В этом случае матрица Х представляет собой матрицу, состоящую из констант, и элементы матриц (Х¢Х) и (Х¢Х)^–1 также рассматриваются как константы.

Прежде всего заметим, что выражение (2.3) и аналогичное  ему выражение (2.7) представляют собой систему (n+1) уравнений с (n+1) неизвестными. Вследствие этого решение, т. е. вектор a, на основе выражения (2.8) теоретически можно получить почти всегда, кроме тех случаев, когда матрица   Х¢Х   является вырожденной и, следовательно, обратная ей матрица (Х¢Х)^–1  не существует.

Вырожденная матрица Х¢Х будет иметь место в том случае, если хотя бы один из столбцов матрицы Х представим в виде линейной комбинацией нескольких других ее столбцов. От свойства вырожденности матрицы  Х¢Х следует отличать ее плохую обратимость. Это свойство может быть обусловлено существованием почти линейной зависимости между столбцами матрицы Х. В этом случае определитель матрицы Х¢Х близок к нулю и при расчете элементов обратной ей матрицы могут возникнуть проблемы вычислительного характера, когда неизбежные в расчетах на ЭВМ ошибки округления будут значительно искажать конечный результат. Это, в свою очередь, может повлечь существенные искажения оценок параметров модели, т. е. элементов вектора a.

Другое достаточно естественное ограничение для получения решения  состоит в том, что количество измерений факторов Т должно быть больше их числа n+1 (Т>n+1). В противном случае получить однозначную оценку параметров модели невозможно, так как количество неизвестных в системе (2.3) превысит число  ее уравнений [5, с.367].