Шпаргалка по "Эконометрике"

При проверке гипотезы о значимости модели парной регрессии в целом  критическое значение F-критерия определяется как Fкрит(а;n-2).

При проверке основных гипотез  о незначимости модели парной регрессии  в целом наблюдаемое значение F-критерия рассчитывается по формуле:

 

При проверке основной гипотезы возможны следующие ситуации:

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице  распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то с вероятностью а  основная гипотеза о незначимости коэффициентов  модели регрессии или парного  коэффициента детерминации отвергается, и, следовательно, модель регрессии  в целом признаётся значимой.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого  по таблице распределения Фишера-Снедекора), т. е. Fнабл>Fкрит, то с вероятностью а основная гипотеза о незначимости коэффициентов модели регрессии  или парного коэффициента детерминации отвергается, и, следовательно, модель регрессии в целом признаётся значимой.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого  по таблице распределения  Фишера-Снедекора), т.е. Fнабл<Fкрит, то с вероятностью (1-а) основная гипотеза о незначимости коэффициентов модели регрессии  или парного коэффициента детерминации принимается, и, следовательно, модель регрессии в целом признаётся незначимой.

Коэффициент детерминации может  быть рассчитан не только как квадрат  линейного коэффициента парной корреляции или через теорему о разложении общей дисперсии результативной переменной на составляющие, но и через  теорему о разложении сумм квадратов  результативной переменной.

Теорема. Сумма квадратов  разностей между значениями результативной переменной и её средним значением  по выборочной совокупности может быть представлена следующим образом:

 

 

где

 

– общая сумма квадратов (Total Sum Square – TSS);

 

– сумма квадратов остатков (Error Sum Square – ESS);

 

– сумма квадратов объяснённой  регрессии (Regression Sum Square – RSS).

Представим данную теорему  в векторной форме:

 

Общую сумму квадратов  можно представить следующим  образом:

 

Если в модель регрессии  не включается свободный член β0, то данное разложение также остаётся верным.

Парный коэффициент детерминации может быть рассчитан через теорему  о о разложении сумм квадратов  результативной переменной по следующим  формулам:

 

или

 

25. Точечный и интервальный  прогнозы для модели парной  регрессии

Одна из задач эконометрического  моделирования заключается в  прогнозировании поведения исследуемого явления или процесса в будущем. В большинстве случаев данная задача решается на основе регрессионных  моделей, с помощью которых можно  спрогнозировать поведение результативной переменной в зависимости от поведения  факторных переменных.

Рассмотрим подробнее  процесс прогнозирования для  линейной модели парной регрессии.

Точечный прогноз результативной переменной у на основе линейной модели парной регрессии при заданном значении факторной переменной хm будет осуществляться по формуле:

ym=β0+β1xm+εm.

Точечный прогноз результативной переменной ym с доверительной вероятностью γ или (1–а) попадает в интервал прогноза, определяемый как:

ym–t*ω(m)≤ ym≤ ym+t*ω(m),

t – t-критерий Стьюдента,  который определяется в зависимости  от заданного уровня значимости a и числа степеней свободы  (n-2) для линейной модели парной  регрессии;

ω(m) – величина ошибки прогноза в точке m.

Для линейной модели парной регрессии величина ошибки прогноза определяется по формуле:

 

где S2(ε) – несмещённая  оценка дисперсии случайной ошибки линейной модели парной регрессии.

Рассмотрим процесс определения  величины ошибки прогноза β(m).

Предположим, что на основе выборочных данных была построена линейная модель парной регрессии вида:

 

Факторная переменная х в  данной модели представлена в центрированном виде.

Задача состоит в расчёте  прогноза результативной переменной у  при заданном значении факторной  переменной хm, т. е.

 

Математическое ожидание результативной переменной у в точке m рассчитывается по формуле:

 

Дисперсия результативной переменной у в точке m рассчитывается по формуле:

 

где D(β0) – дисперсия оценки параметра β0 линейной модели парной регрессии, которая рассчитывается по формуле:

 

Следовательно, точечная оценка прогноза результативной переменной у  в точке m имеет нормальный закон  распределения с математическим ожиданием

 

и дисперсией

 

 

Если в формулу дисперсии  результативной переменной у в точке m вместо дисперсии G2 подставить её выборочную оценку S2, то получим доверительный  интервал для прогноза результативной переменной у при заданном значении факторной переменной хm:

 

где выборочная оценка генеральной  дисперсии S2 для линейной модели парной регрессии рассчитывается по формуле:

 

В этом случае прогнозный интервал можно преобразовать к виду:

 

что и требовалось доказать.

26. Линейная модель множественной  регрессии

Построение модели множественной  регрессии является одним из методов  характеристики аналитической формы  связи между зависимой (результативной) переменной и несколькими независимыми (факторными) переменными.

Модель множественной  регрессии строится в том случае, если коэффициент множественной  корреляции показал наличие связи  между исследуемыми переменными.

Общий вид линейной модели множественной регрессии:

yi=β0+β1x1i+…+βmxmi+εi,

где yi – значение i-ой результативной переменной,

 

x1i…xmi – значения факторных  переменных;

β0…βm – неизвестные коэффициенты модели множественной регрессии;

εi – случайные ошибки модели множественной регрессии.

При построении нормальной линейной модели множественной регрессии  учитываются пять условий:

1) факторные переменные x1i…xmi  – неслучайные или детерминированные  величины, которые не зависят  от распределения случайной ошибки  модели регрессии βi;

2) математическое ожидание  случайной ошибки модели регрессии  равно нулю во всех наблюдениях:

 

3) дисперсия случайной  ошибки модели регрессии постоянна  для всех наблюдений:

 

4) между значениями случайных  ошибок модели регрессии в  любых двух наблюдениях отсутствует  систематическая взаимосвязь, т.е.  случайные ошибки модели регрессии  не коррелированны между собой  (ковариация случайных ошибок  любых двух разных наблюдений  равна нулю):

 

Это условие выполняется  в том случае, если исходные данные не являются временными рядами;

5) на основании третьего  и четвёртого условий часто  добавляется пятое условие, заключающееся  в том, что случайная ошибка  модели регрессии – это случайная  величина, подчиняющейся нормальному  закону распределения с нулевым  математическим ожиданием и дисперсией G2: εi~N(0, G2).

Общий вид нормальной линейной модели парной регрессии в матричной  форме:

Y=X* β+ε,

Где

 

– случайный вектор-столбец  значений результативной переменной размерности (n*1);

 

– матрица значений факторной  переменной размерности (n*(m+1)). Первый столбец является единичным, потому что в модели регрессии коэффициент  β0 умножается на единицу;

 

– вектор-столбец неизвестных  коэффициентов модели регрессии  размерности ((m+1)*1);

 

– случайный вектор-столбец  ошибок модели регрессии размерности (n*1).

Включение в линейную модель множественной регрессии случайного вектора-столбца ошибок модели обусловлено  тем, что практически невозможно оценить связь между переменными  со 100-процентной точностью.

Условия построения нормальной линейной модели множественной регрессии, записанные в матричной форме:

1) факторные переменные x1j…xmj – неслучайные или детерминированные  величины, которые не зависят  от распределения случайной ошибки  модели регрессии εi. В терминах  матричной записи Х называется  детерминированной матрицей ранга  (k+1), т.е. столбцы матрицы X линейно  независимы между собой и ранг  матрицы Х равен m+1<n;

 

2) математическое ожидание  случайной ошибки модели регрессии  равно нулю во всех наблюдениях:

3) предположения о том,  что дисперсия случайной ошибки  модели регрессии является постоянной  для всех наблюдений и ковариация  случайных ошибок любых двух  разных наблюдений равна нулю, записываются с помощью ковариационной  матрицы случайных ошибок нормальной  линейной модели множественной  регрессии:

 

где

G2 – дисперсия случайной  ошибки модели регрессии ε;

In – единичная матрица  размерности (n*n).

4) случайная ошибка модели  регрессии ε является независимой  и независящей от матрицы Х  случайной величиной, подчиняющейся  многомерному нормальному закону  распределения с нулевым математическим  ожиданием и дисперсией G2: ε→N(0;G2In.

В нормальную линейную модель множественной регрессии должны входить факторные переменные, удовлетворяющие  следующим условиям:

1) данные переменные должны  быть количественно измеримыми;

2) каждая факторная переменная  должна достаточно тесно коррелировать  с результативной переменной;

3) факторные переменные  не должны сильно коррелировать  друг с другом или находиться  в строгой функциональной зависимости.

27. Классический метод  наименьших квадратов для модели  множественной регрессии. Метод  Крамера

В общем виде линейную модель множественной регрессии можно  записать следующим образом:

yi=β0+β1x1i+…+βmxmi+εi,

 

где yi – значение i-ой результативной переменной,

x1i…xmi – значения факторных  переменных;

β0…βm – неизвестные коэффициенты модели множественной регрессии;

εi – случайные ошибки модели множественной регрессии.

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). Суть метода наименьших квадратов состоит в  том, чтобы найти такой вектор β оценок неизвестных коэффициентов  модели, при которых сумма квадратов  отклонений (остатков) наблюдаемых  значений зависимой переменной у  от расчётных значений ỹ (рассчитанных на основании построенной модели регрессии) была бы минимальной.

Матричная форма функционала F метода наименьших квадратов:

 

где

 

– случайный вектор-столбец  значений результативной переменной размерности (n*1);

 

– матрица значений факторной  переменной размерности (n*(m+1)). Первый столбец является единичным, потому что в модели регрессии коэффициент  β0 умножается на единицу;

В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β0…βm, потому что  значения результативной и факторных  переменных известны из наблюдений. Для  определения минимума функции (1) необходимо вычислить частные производные  этой функции по каждому из оцениваемых  параметров и приравнять их к нулю. Результатом данной процедуры будет  стационарная система уравнений  для функции (1):

 

где

 

– вектор-столбец неизвестных  коэффициентов модели регрессии  размерности ((m+1)*1);

Общий вид стационарной системы  уравнений для функции (1):

 

Решением стационарной системы  уравнений будут МНК-оценки неизвестных  параметров линейной модели множественной  регрессии:

 

Оценим с помощью метода наименьших квадратов неизвестные  параметры линейной модели двухфакторной  регрессии:

yi=β0+β1x1i+β2x2i+εi,

где

 

Чтобы рассчитать оценки неизвестных  коэффициентов β0,β1 и β2 данной двухфакторной  модели регрессии, необходимо минимизировать функционал F вида:

 

Для определения экстремума функции нескольких переменных, частные  производные по этим переменным приравниваются к нулю. Результатом данной процедуры  будет стационарная система уравнений  для модели множественной линейной регрессии с двумя переменными:

 

В результате элементарных преобразований данной стационарной системы уравнений  получим систему нормальных уравнений:

 

Данная система называется системой нормальных уравнений относительно коэффициентов

 

для модели регрессии yi=β0+β1x1i+β2x2i+εi.

Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется  количеству неизвестных переменных, поэтому коэффициенты

 

можно рассчитать с помощью  метода Крамера или метода Гаусса.

Рассмотрим подробнее  метод Крамера решения квадратных систем нормальных уравнений.

Единственное решение  квадратной системы линейных уравнений  определяется по формуле:

 

где Δ – основной определитель квадратной системы линейных уравнений;

Δj – определитель, полученный из основного определителя путём  замены j-го столбца на столбец свободных  членов.

При использовании метода Крамера возможно возникновение  следующих ситуаций:

1) если основной определитель  системы Δ равен нулю и все  определители Δjтакже равны нулю, то данная система имеет бесконечное  множество решений;

2) если основной определитель  системы Δ равен нулю и хотя  бы один из определителей Δjтакже  равен нулю, то система решений  не имеет.

28. Линейная модель множественной  регрессии стандартизированного  масштаба