Множественный регрессионный анализ

 

    Цель  работы

    Освоение  методики множественного регрессионного анализа. 

    Теоретическая часть

    Множественный регрессионный анализ является развитием  парного регрессионного анализа  применительно к случаям, когда  зависимая переменная гипотетически  связанна с более чем одной переменной. Большая часть анализа будет непосредственным расширением парной регрессионной модели, однако появляются две новые проблемы. Во-первых, при оценке влияния данной независимой переменной на зависимую переменную  необходимо решить проблему разграничения ее воздействия и воздействий других переменных. Во-вторых, возникает проблема спецификации модели. Часто предполагается, что несколько переменных могут оказывать влияние на зависимую переменную, с другой стороны, некоторые переменные могут не подходить для модели. Необходимо решить, какие из них следует включить в уравнении регрессии, а какие- исключить из него. В данной лабораторной работе предполагается, что спецификация модели правильна.

    Для проведения регрессионного анализа  из (k+1) пемерной генеральной совокупности  берется выборка объемом п и каждое 1-ое наблюдение (объект) характеризуется значениями переменных ( ) где - значение j-й переменной для i-го наблюдения значение результативного признака для i-го наблюдения.

    Наиболее   часто   используемая   множественная   линейная   модель   регрессионного анализа имеет вид

      (4.1)

    где - случайные ошибки наблюдения, независимые между собой, имеют нулевую среднюю и дисперсию .

    Отметим,  что  модель     справедлива  для  всех  i =   1,2,..,  n,   линейна относительно неизвестных параметров и аргументов.

    Как следует из модели коэффициент регрессии . показывает, на какую величину в среднем изменится результативный признак У, если переменную Xj увеличить на единицу измерения, т е. является нормативным коэффициентом.

      В матричной форме регрессионная модель имеет вид

      (4.2)

    где У - случайный вектор - столбец размерности (n * 1) наблюдаемых значений результативного признака (у1, у2,..., уп); X - матрица размерности [n* (к+1)] наблюдаемых значений аргументов. Элемент матрицы рассматривается как неслучайная величина (i =1,2,...,n; j = 0,1,2,...к; =1);

            -вектор - столбец размерности [(к+1) х 1] неизвестных, подлежащих оценке параметров (коэффициентов регрессии) модели; -случайный- вектор -столбец размерности (n х 1) ошибок наблюдений (остатков). Компоненты вектора , независимы между собой, имеют нормальный закон распределения с нулевым математическим ожиданием и неизвестной дисперсией .  На практике рекомендуется, чтобы n превышало k с не менее, чем в три раза.

    В матричной модели единицы в первом столбце матрицы призваны обеспечить наличие свободного члена в исходной модели . Здесь предполагается, что существует переменная хо, которая во всех наблюдениях принимает значения равные 1.

    Основная  задача регрессионного анализа заключается  в нахождении по выборке объемом n, оценки неизвестных коэффициентов регрессии модели или вектора .

    Так как, в регрессионном анализе  хj рассматриваются как неслучайные величины, а , то уравнение регрессии имеет вид

      (4.3) 
для всех 1= 1,2,... ,n, или в матричной форме

     , (4.4) 
где У - вектор-столбе ц с элементами у1, ...,у1,...,уп.

    Для оценки вектора  наиболее часто используют метод наименьших квадратов (МНК), согласно которому в качестве оценки принимают вектор b, который минимизирует сумму квадратов отклонения наблюдаемых значений уi от модельных значений уi, т. е. квадратичную форму:

    (4.5)

    

    Дифференцируя,   с   учетом   и   квадратичную   форму   Q   по     и приравнивая производные нулю, получим систему нормальных уравнений

    

      решая которую и получаем вектор оценок b, где b=(bо,b1,bk).

    Согласно  методу наименьших квадратов, вектор оценок коэффициентов регрессии, получается по формуле:

    

    (4.6)

    Зная   вектор   оценок   коэффициентов   регрессии   b,   найдем   оценку  у  уравнения регрессии:

    

      Или   в   матричном   виде:   y=X   ,   где У=(у1,у2,...уn).

    Оценка  ковариационной матрицы коэффициентов  регрессии вектора b определяется из выражения

      
 
 

    Цель  регрессионного анализа состоит  в объяснении поведения зависимой  переменной у. В любой данной выборке  у оказывается сравнительно низким в одних наблюдениях и сравнительно высоким в других. Разброс значений у в любой выборке можно суммарно описать с помощью выборочной дисперсии Var(у).

    После  построения уравнения регрессии  можно разбить значение у\  в каждом наблюдении на две составляющих - у. и е\.

    

 (4.9) 
                               (4.10) 

    Максимальное  значение коэффициента R² равно единице. Это происходит в том случае, когда линия регрессии точно соответствует всем наблюдениям.

    Если  в выборке отсутствует видимая  связь между у и х, то коэффициент R² будет близок к нулю.

    При прочих равных условиях желательно, чтобы  коэффициент R² был как можно больше.

    Недостатком коэффициента детерминации R² является увеличение его значения при добавлении в модель дополнительных регрессоров.

    Проверка  значимости модели

    Значимость уравнения регрессии, т. е. гипотеза Но: р=0 ((Зо=р1=...=рк=0), проверяется по Р-критерию, наблюдаемое значение которого определяется по формуле

    

    (4.11)

      

    По  таблице F-распределения для заданных , V1=к+1, V2=n-К-1 находят Fкр.

    Если  Fнабл>Fкр , то уравнение является значимым, т. е. хотя бы один из коэффициентов регрессии отличен от нуля. 

    Экспериментальная часть 

    В качестве исследуемого материала рассматриваются  данные валютам 2002-2004гг.

 

    Добавим, для рассмотрения многофакторной модели, X2 и X3, экспорт товаров и официальный курс доллара США по отношению к рублю. 

 

      Аналитическую модель можно представить  как, 

    Yр =18,04+0,07*X1-0,19*X2

    Сумма квадратов остатков (необъясненная  дисперсия)

    

    

    Объясненная дисперсия

      

        

    Полная  дисперсия

    

    

Т.е  объясненная дисперсия составляет приблизительно 1% от полной, что свидетельствует  о плохом соответствии модели реальной ситуации. 

    Коэффициенты  детерминации (простой и скореллированной) 

= 0,008.

= 0,00791. 
 

    

    Низкое  значение коэффициентов детерминации свидетельствует низком качестве полученной модели.

    Проверим значимость модели, используя  F-статистику. Для этого выдвинем гипотезу Н0 – что все коэффициенты равны нулю, т.е. уравнение не значимо, и Н1 – о том что существует хотя бы один коэффициент не равный нулю. 

      

    F=12,03

    Ftab=2,091

    Так как F>Ftab, то Н0 отвергается в пользу Н1, т. е модель значима.

    Проверим  значимость коэффициента регрессии, используя  статистику Стьюдента.

    

    tтаб = 1,356

    Т. о . все коэффициенты регрессии (кроме  коэффициента b1) являются незначимыми.

    Доверительные интервалы для  :

      

      

      
 
 

Предсказание  значения Y по полученной модели в заданной точке

 Пусть  x = (60  1)

В точке  x значение, рассчитанное по модели, примет вид:   y = 22,05 
 
 

    Вывод

    В результате выполнения лабораторной работы, освоили основные методики проведения многофакторного регрессионного анализа.  Использование регрессионного многофакторного  анализа привело к получению  модели, описывающей влияние валют друг на друга.