Шпаргалка по "Эконометрике"

Допустим, что при достижении основными фондами определённого  уровня изношенности, себестоимость  единицы промышленной продукции  резко выросла, а затем продолжила медленно снижаться при условии  увеличения объёмов производства данной продукции. В этом случае регрессионная  зависимость примет вид:

y=(β0+β1x)(x≤500)+(β3+β2x)(x>500).

В связи с тем, что модели регрессии с точками разрыва  являются внутренне нелинейными, то неизвестные параметры данных моделей  нельзя оценить с помощью классического  метода наименьших квадратов. Для оценки этих параметров применяются итерационные методы нелинейного оценивания и  метод максимального правдоподобия.

Если в начале эконометрического  моделирования перед исследователем стоит выбор между моделью  регрессии, внутренне нелинейной и  линейной моделью регрессии (или  сводящейся к линейному виду), то предпочтение отдаётся линейным формам моделей.

42. Метод наименьших квадратов  для моделей регрессии, нелинейных  по факторным переменным

Если модель регрессии  является нелинейной по факторным переменным или нелинейной по оцениваемым коэффициентам, но внутренне линейной, то неизвестные  коэффициенты данных моделей можно  оценить с помощью классического  метода наименьших квадратов.

Рассмотрим применение метода наименьших квадратов для определения  неизвестных параметров модели регрессии, нелинейной по факторным переменным.

Параболическая функция  второго порядка вида

 

является моделью регрессии, нелинейной по факторным переменным xi.

Метод наименьших квадратов  позволяет получить такие оценки параметров β0,β1 и β2 при которых  сумма квадратов отклонений фактических  значений результативного признака ỹ от расчетных (теоретических) β  минимальна:

 

В процессе минимизации исходной функции регрессии неизвестными являются только значения коэффициентов  β0,β1 и β2, потому что значения результативной и факторной переменных известны из наблюдений. Для определения минимума функции трёх переменных вычисляются  частные производные этой функции  по каждому из оцениваемых параметров и приравниваются к нулю. Результатом  данной процедуры будет стационарная система уравнений.

Составим стационарную систему  уравнений для функционала F, не пользуясь  методом замен:

 

После элементарных преобразований стационарной системы уравнений, получим  систему нормальных уравнений, позволяющую  определить значения неизвестных коэффициентов  параболической функции:

 

Данная система является системой нормальных уравнений относительно параметров

 

для параболической функции  второго порядка.

Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется  количеству неизвестных переменных, поэтому коэффициенты

 

можно рассчитать с помощью  метода Крамера или метода Гаусса.

Если рассматривать полиномиальную функцию n-ой степени вида

 

то для определения  оценок неизвестных коэффициентов  данной модели регрессии методом  наименьших квадратов минимизируется функционал F:

 

Для определения минимума функции нескольких переменных вычисляются  частные производные этой функции  по каждому из оцениваемых параметров и приравниваются к нулю. Результатом  данной процедуры будет стационарная система уравнений:

 

Решением данной стационарной системы уравнений будут оценки неизвестных коэффициентов полиномиальной функции n-ой степени.

43. Метод наименьших квадратов  для моделей регрессии, нелинейных  по оцениваемым коэффициентам

Показательная функция вида

 

является нелинейной по коэффициенту β1 и относится к классу моделей  регрессии, которые можно с помощью  преобразований привести к линейному  виду. Данная модель характеризуется  тем, что случайная ошибка εi мультипликативно связана с факторной переменной хi. Следовательно, для определения  оценок неизвестных коэффициентов  данной модели можно применить классический метод наименьших квадратов.

Данную модель можно привести к линейному виду с помощью  логарифмирования:

Log yi=log β0+ хi* logβ1+ logεi.

Для более наглядного представления  данной модели регрессии воспользуемся  методом замен:

log yi=Yi;

log β0=A;

logβ1=B;

logεi=E.

В результате произведённых  замен получим окончательный  вид показательной функции, приведённой  к линейной форме:

Yi=A+Bхi+E.

Таким образом, мы будем применять  метод наименьших квадратов не к  исходной форме показательной функции, а к её преобразованной форме.

Для определения неизвестных  коэффициентов линеаризованной  формы показательной функции  методом наименьших квадратов необходимо минимизировать сумму квадратов  отклонений логарифмов наблюдаемых  значений результативной переменной у  от теоретических значений ỹ (значений, рассчитанных на основании модели регрессии), т. е. минимизировать функционал МНК  вида:

 

Оценки неизвестных коэффициентов  А и В линеаризованной формы  показательной функции находятся  при решении системы нормальных уравнений вида:

 

Данная система является системой нормальных уравнений относительно коэффициентов А и В для  функции вида Yi=A+Bхi+E.

Однако основным недостатком  полученных МНК-оценок неизвестных  коэффициентов моделей регрессии, сводимых к линейному виду, является их смещённость.

44. Методы нелинейного  оценивания коэффициентов модели  регрессии

Функцией потерь или ошибок называется функционал вида

 

Также в качестве функции  потерь может быть использована сумма  модулей отклонений наблюдаемых  значений результативного признака у от теоретических значений ỹ:

 

Функция потерь характеризует  потери в точности аппроксимации  исходных данных построенной моделью  регрессии.

В интересах исследователя  минимизировать функцию ошибок. Для  этого используются различные методы, однако, их общий недостаток заключается  в наличии локальных минимумов. Например, если оценка неизвестного параметра  модели регрессии будет немного  изменена, то значение функция потерь практически не изменится, но существует вероятность того, что ошибочное  значение оцениваемого параметра модели регрессии даст в результате ощутимое уменьшение функции ошибок. Такое  явление называется локальным минимумом.

Следствием локальных  минимумов являются неоправданно завышенные или заниженные оценки неизвестных  параметров модели регрессии.

Избежать попадания в  локальный минимум можно путём  повторения процедуры оценивания неизвестных  параметров модели регрессии с изменёнными  начальными условиями (шагом, ограничением оцениваемых параметров и т. д.).

При достижении функцией ошибок глобального минимума, оценки неизвестных  коэффициентов модели регрессии  считаются оптимальными.

К основным методам минимизации  функции ошибок относятся:

1) метод Ньютона. В соответствии  с данным методом основной  шаг в направлении глобального  минимума метода Ньютона рассчитывается  по формуле:

 

где βk– вектор значений оцениваемых  параметров на k-ой итерации;

Н – матрица вторых частных  производных, или матрица Гессе;

gk – вектор градиента  на k-ой итерации.

Предположим, что задана скалярная  функция у от переменных

 

вида y=f(x).

Независимые переменные xi можно  записать в виде вектора: x=[x1x2…xn]T. Тогда  по определению производной:

 

Вектор-столбец

 

называется градиентом функции y=f(x) в точке x;

2) для избежания громоздких  вычислений матрицы Гессе существуют  различные способы её замены  приближёнными выражениями. Эти  приёмы легли в основу квазиньютоновых  методов. Суть квазиньютоновых  методов заключается в том,  что в различных точках вычисляются  значения функции ошибок для  определения первой и второй  производной. Первая производная  функции в заданной точке равна  тангенсу угла наклона графика  функции, а вторая производная  функции в заданной точке равна  скорости его изменения. Затем  эти данные применяются для  определения направления изменения  параметров, а соответственно, и  для минимизации функции ошибок;

3) симплекс-метод – это  метод нелинейного оценивания, который  не использует производные функции  ошибок. При каждой итерации функция  ошибок оценивается в n+1 точках n-мерного пространства, образуя  при этом фигуру, называемую симплексом. В многомерном пространстве симплекс  будет постепенно менять параметры,  смещаясь в сторону минимизации  функции потерь. Основное преимущество  симплекс-метода перед остальными  методами нелинейного оценивания  заключается в том, что при  слишком большом шаге для точного  определения направления минимизации  функции потерь или при слишком  большом симплексе, алгоритм автоматически  уменьшает симплекс, и вычислительная  процедура продолжается. При обнаружении  минимума, симплекс вновь увеличивается  для проверки минимума на локальность.

45. Показатели корреляции  и детерминации для нелинейных  моделей регрессии

Индексом корреляции для  нелинейных форм связи называется коэффициент  корреляции, который вычисляется  для оценки качества построенной  нелинейной модели регрессии.

Индекс корреляции для  нелинейных форм вычисляется с помощью  теоремы о разложении дисперсий  по формуле:

 

где G2(y) – это общая  дисперсия зависимой переменной;

σ2(y) – это объяснённая  с помощью построенной модели регрессии дисперсия переменной у, которая рассчитывается по формуле:

 

δ2(y) – необъяснённая или  остаточная дисперсия переменной у, которая рассчитывается по формуле:

 

Также индекс корреляции для  нелинейных форм можно рассчитать с  помощью теоремы о разложении сумм квадратов по формуле:

 

где RSS (Regression Sum Square) – сумма  квадратов объяснённой регрессии:

 

ESS (Error Sum Square) – сумма квадратов  остатков модели множественной  регрессии с n независимыми переменными:

 

TSS (TotalSumSquare) – общая сумма  квадратов модели множественной  регрессии с n независимыми переменными:

 

Индекс корреляции для  нелинейных форм связи изменяется в  пределах от нуля до единицы. С его  помощью нельзя охарактеризовать направление  связи между результативной и  факторными переменными. Чем ближе  значение индекса корреляции для  нелинейных форм связи к единице, тем сильнее взаимосвязь между  результативной и независимыми переменными, и наоборот, чем ближе значение индекса корреляции для нелинейных форм связи к нулю, тем слабее взаимосвязь между результативной и независимыми переменными.

Индексом детерминации называется квадрат индекса корреляции для  нелинейных форм связи.

Расчёт индекса детерминации с помощью теоремы о разложении дисперсий:

 

Расчёт индекса детерминации с помощью теоремы о разложении сумм квадратов:

 

Индекс детерминации характеризует, на сколько процентов построенная  модель регрессии объясняет вариацию значений результативной переменной относительно своего среднего уровня, т. е. показывает долю общей дисперсии результативной переменной, объяснённой вариацией  факторных переменных, включённых в  модель регрессии.

Коэффициент множественной  детерминации также называется количественной характеристикой объяснённой построенной  моделью регрессии дисперсии  результативной переменной. Чем больше значение коэффициента множественной  детерминации, тем лучше построенная  модель регрессии характеризует  взаимосвязь между переменными.

46. Проверка гипотезы о  значимости нелинейной модели  регрессии. Проверка гипотезы  о линейной зависимости между  переменными модели регрессии

На нелинейные модели регрессии, которые являются внутренне линейными, т. е. сводимыми к линейному виду, распространяются все методы проверки гипотез, используемые для классических линейных моделей регрессии.

Таким образом, если внутренне  линейную модель регрессии можно  свести к линейной модели парной регрессии, то на эту модель будут распространяться все методы проверки гипотез, используемые для парной линейной зависимости.

Проверка гипотезы о значимости линейной модели множественной регрессии  состоит в проверке гипотезы значимости индекса детерминации R2.

Рассмотрим процесс проверки гипотезы о значимости индекса детерминации.

Основная гипотеза состоит  в предположении о незначимости индекса детерминации, т. е.

Н0:R2=0.

Обратная или конкурирующая  гипотеза состоит в предположении  о значимости индекса детерминации, т. е.

Н1:R2≠0.

Данные гипотезы проверяются  с помощью F-критерия Фишера-Снедекора.

Наблюдаемое значение F-критерия (вычисленное на основе выборочных данных) сравнивают со значением F-критерия, которое определяется по таблице  распределения Фишера-Снедекора, и  называется критическим.

При проверке значимости индекса  детерминации критическое значение F-критерия определяется как Fкрит(a;k1;k2), где а – уровень значимости, k1=l-1 и k2=n-l – число степеней свободы, n – объём выборочной совокупности, l – число оцениваемых по выборке  параметров.

При проверке основной гипотезы вида Н0:R2=0 наблюдаемое значение F-критерия Фишера-Снедекора рассчитывается по формуле:

 

При проверке основной гипотезы возможны следующие ситуации.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице  распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то с вероятностью а  основная гипотеза о незначимости индекса  детерминации отвергается, и он признаётся значимым. Следовательно, полученная модель регрессии также признаётся значимой.