Автор работы: Пользователь скрыл имя, 02 Октября 2011 в 15:08, реферат
Данный курсовой проект включает в себя информацию о методе наименьших квадратов и его разновидностях. В работе приведена информация по классическому методу наименьших квадратов, подробно описан взвешенный МНК, дана краткая информация о двухшаговом и трёхшаговым методах наименьших квадратов.
Данный курсовой проект включает в себя информацию о методе наименьших квадратов и его разновидностях. В работе приведена информация по классическому методу наименьших квадратов, подробно описан взвешенный МНК, дана краткая информация о двухшаговом и трёхшаговым методах наименьших квадратов.
При
анализе различных источников информации
(смотри список литературы) предпочтение
отдано работам, описывающим не просто
математический и статистический базисы
исследуемых методов. В работе сделан
акцент на возможность практического
использования различных
Парная
линейная регрессия.
Метод наименьших
квадратов
Рис.1
На рисунке изображены три ситуации:
• на графике (а) взаимосвязь х и у близка к линейной; прямая линия (1) здесь близка к точкам наблюдений, и последние отклоняются от нее лишь в результате сравнительно небольших случайных воздействий;
•
на графике (b) реальная взаимосвязь
величин х и у описывается
нелинейной функцией (2), и какую бы
мы ни провели прямую линию (например,
1), отклонения точек наблюдений от нее
будут существенными и
•
на графике (с) явная взаимосвязь
между переменными х и у
отсутствует; какую бы мы ни выбрали
формулу связи, результаты ее параметризации
будут здесь неудачными. В частности,
прямые линии 1 и 2, проведенные через
"центр" "облака" точек наблюдений
и имеющие противоположный
Начальным
пунктом эконометрического
Обычно
в качестве критерия близости используется
минимум суммы квадратов
Q
= Sei2
=S
(yi-(a+bxi))2®
min (1)
считается, что у и х - известные данные наблюдений, а и b - неизвестные параметры линии регрессии. Поскольку функция Q непрерывна, выпукла и ограничена снизу нулем, она имеет минимум. Для соответствующих точке этого минимума значений а и b могут быть найдены простые и удобные формулы (они будут приведены ниже). Метод оценивания параметров линейной регрессии, минимизирующий сумму квадратов отклонений наблюдений зависимой переменной от искомой линейной функции, называется Методом наименьших квадратов (МНК), или Least Squares Method (LS).
"Наилучшая"
по МНК прямая линия всегда
существует, но даже наилучшая
не всегда является достаточно
хорошей. Если в
Рассмотрим
теперь задачу оценки коэффициентов
парной линейной регрессии более
формально. Предположим, что связь
между х и .у линейна: у = a+bх.
Здесь имеется в виду связь между всеми
возможными значениями величин х и у, то
есть для генеральной совокупности. Наличие
случайных отклонений, вызванных воздействием
на переменную у множества других, неучтенных
в нашем уравнении факторов и ошибок измерения,
приведет к тому, что связь наблюдаемых
величин xi и yi приобретет вид уi=a+bхi+єi,.
Здесь єi. - случайные ошибки (отклонения,
возмущения). Задача состоит в следующем:
по имеющимся данным наблюдений {xi}, {уi}
оценить значения параметров айв, обеспечивающие
минимум величины Q. Если бы были известны
точные значения отклонений єi, то можно
было бы (в случае правильности предполагаемой
линейной формулы) рассчитать значения
параметров a и b. Однако значения случайных
отклонений в выборке неизвестны, и по
наблюдениям xi и уi можно получить оценки
параметров с и р, которые сами являются
случайными величинами, поскольку соответствуют
случайной выборке. Пусть а - оценка параметра a,
b - оценка параметра b. Тогда оцененное уравнение
регрессии будет иметь вид:
yi=а+bxi+еi,
где еi - наблюдаемые значения ошибок єi.
Для оценки параметров a и b воспользуемся МНК, который минимизирует сумму квадратов отклонений фактических значений уi от расчетных. Минимум ищется по переменным а и b.
Для того, чтобы полученные МНК оценки а и b обладали желательными свойствами, сделаем следующие предпосылки об отклонениях єi:
1)
величина єi является
2)
математическое ожидание єi
3) дисперсия є постоянна: D(єi) = D(єi) = s2 для всех i, j;
4)
значения єi независимы между
собой. Откуда вытекает, в частности,
что
(2)
Известно, что, если условия 1)-4) выполняются, то оценки, сделанные с помощью МНК, обладают следующими свойствами:
1)
Оценки являются несмещенными, т.е.
математическое ожидание
2)
Оценки состоятельны, так как
дисперсия оценок параметров
при возрастании числа
3)
Оценки эффективны, они имеют
наименьшую дисперсию по
Перечисленные свойства не зависят от конкретного вида распределения величин єi, тем не менее, обычно предполагается, что они распределены нормально N(0;y2). Эта предпосылка необходима для проверки статистической значимости сделанных оценок и определения для них доверительных интервалов. При ее выполнении оценки МНК имеют наименьшую дисперсию не только среди линейных, но среди всех несмещенных оценок.
Если предположения 3) и 4) нарушены, то есть дисперсия возмущений непостоянна и/или значения є. связаны друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности - нет.
Рассмотрим
теперь процедуру оценивания параметров
парной линейной регрессии а и b.
Для того, чтобы функция Q = Sei2
=S
(yi-(a+bxi))2 достигала минимума, необходимо
равенство нулю ее частных производных:
(3) (4)
Если
уравнение (3) разделить на п, то получим
у=а+bх (здесь
- средние значения х и у). Таким образом,
линия регрессии проходит через точку
со средними значениями х и у. Подставив
величину а из (3) в (4), получаем
Откуда
(5) (6)
Иначе можно записать, что (где r коэффициент корреляции х и у). Таким образом, коэффициент регрессии пропорционален показателю ковариации и коэффициенту корреляции х и у, а коэффициенты этой пропорциональности служат для соизмерения перечисленных разноразмерных величин. Оценки a и b, очевидно, являются линейными относительно yi (если xi считать коэффициентами) - выше об этом упоминалось.
Итак,
если коэффициент r уже рассчитан, то
легко рассчитать коэффициент парной
регрессии, не решая системы уравнений.
Ясно также, что если рассчитаны линейные
регрессии х(у) и у(х), то произведение коэффициентов
dx и by, равно r2:
(7)[1]
Далеко не все задачи исследования взаимосвязей экономических переменных описываются обычной линейной регрессионной моделью. Во-первых, исходные данные могут не соответствовать тем или иным предпосылкам линейной регрессионной модели и требовать либо дополнительной обработки, либо иного модельного инструментария. Во-вторых, исследуемый процесс во многих случаях описывается не одним уравнением, а системой, где одни и те же переменные могут быть в одних случаях объясняющими, а в других - зависимыми. В-третьих, исследуемые взаимосвязи могут быть (и обычно являются) нелинейными, а процедура линеаризации не всегда легко осуществима и может приводить к искажениям. В-четвертых, структура описываемого процесса может обусловливать наличие различного рода связей между оцениваемыми коэффициентами регрессии, что также предполагает необходимость использования специальных методов.
Наиболее распространенным в практике статистического оценивания параметров уравнений регрессии является метод наименьших квадратов. Этот метод основан на ряде предпосылок относительно природы данных и результатов построения модели. Основные из них - это четкое разделение исходных переменных на зависимые и независимые, некоррелированность факторов, входящих в уравнения, линейность связи, отсутствие автокорреляции остатков, равенство их математических ожиданий нулю и постоянная дисперсия. Эмпирические данные не всегда обладают такими характеристиками, т.е. предпосылки МНК нарушаются. Применение этого метода в чистом виде может привести к таким нежелательным результатам, как смещение оцениваемых параметров, снижение их состоятельности, устойчивости, а в некоторых случаях может и вовсе не дать решения. Для смягчения нежелательных эффектов при построении регрессионных уравнений, повышения адекватности моделей существует ряд усовершенствований МНК, которые применяются для данных нестандартной природы.
Одной
из основных гипотез МНК является
предположение о равенстве
Пусть
на первом этапе оценена линейная
регрессионная модель с помощью
обычного МНК. Предположим, что остатки
еi независимы между собой, но имеют разные
дисперсии (поскольку теоретические отклонения
еi нельзя рассчитать, их обычно заменяют
на фактические отклонения зависимой
переменной от линии регрессии ^., для которых
формулируются те же исходные требования,
что и для єi). В этом случае квадратную
матрицу ковариаций cov(ei, ej) можно представить
в виде: