Методы борьбы с мультиколлинеарностью.

К основным способам устранения мультиколлинеарности в модели множественной регрессии относятся:

1) один из наиболее простых способов устранения мультиколлинеарности состоит в получении дополнительных данных. Однако на практике в некоторых случаях реализация данного метода может быть весьма затруднительна;

2) способ преобразования переменных, например, вместо значений всех переменных, участвующих в модели (и результативной в том числе) можно взять их логарифмы.

Однако данный способ также не способен гарантировать полного устранения мультиколлинеарности факторов.

Если рассмотренные способы не помогли устранить мультиколлинеарность факторов, то переходят к использованию смещённых методов оценки неизвестных параметров модели регрессии, или методов исключения переменных из модели множественной регрессии.

Если ни одну из факторных переменных, включённых в модель множественной регрессии, исключить нельзя, то применяют один из основных смещённых методов оценки коэффициентов модели регрессии – гребневую регрессию или ридж (ridge).

При использовании метода гребневой регрессии ко всем диагональным элементам матрицы (ХТХ) добавляется небольшое число: 10-6 ‹ ‹ 0.1. Оценивание неизвестных параметров модели множественной регрессии осуществляется по формуле:

Результатом применения гребневой регрессии является уменьшение стандартных ошибок коэффициентов модели множественной регрессии по причине их стабилизации к определённому числу.

Метод главных компонент является одним из основных методов исключения переменных из модели множественной регрессии.

Данный метод используется для исключения или уменьшения мультиколлинеарности факторных переменных модели регрессии. Суть метода заключается в сокращении числа факторных переменных до наиболее существенно влияющих факторов. Это достигается с помощью линейного преобразования всех факторных переменных xi (i=0, …, n) в новые переменные, называемые главными компонентами, т. е. осуществляется переход от матрицы факторных переменных Х к матрице главных компонент F. При этом выдвигается требование, чтобы выделению первой главной компоненты соответствовал максимум общей дисперсии всех факторных переменных xi (i=0, …, n), второй компоненте – максимум оставшейся дисперсии, после того как влияние первой главной компоненты исключается и т. д.

Метод пошагового включения переменных состоит в выборе из всего возможного набора факторных переменных именно те, которые оказывают существенное влияние на результативную переменную.

Метод пошагового включения осуществляется по следующему алгоритму:

1) из всех факторных переменных в модель регрессии включаются те переменные, которым соответствует наибольший модуль линейного коэффициента парной корреляции с результативной переменной;

2) при добавлении в модель регрессии новых факторных переменных проверяется их значимость с помощью F-критерия Фишера. При том выдвигается основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии. Обратная гипотеза состоит в утверждении о целесообразности включения факторной переменной xk в модель множественной регрессии. Критическое значение F-критерия определяется как Fкрит(a; k1; k2), где а – уровень значимости, k1=1 и k2=n–l – число степеней свободы, n – объём выборочной совокупности, l – число оцениваемых по выборке параметров. Наблюдаемое значение F-критерия рассчитывается по формуле:

где q – число уже включённых в модель регрессии факторных переменных.

При проверке основной гипотезы возможны следующие ситуации.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии отвергается. Следовательно, включение данной переменной в модель множественной регрессии является обоснованным.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл< =Fкрит, то основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии принимается. Следовательно, данную факторную переменную можно не включать в модель без ущерба для её качества

3) проверка факторных переменных на значимость осуществляется до тех пор, пока не найдётся хотя бы одна переменная, для которой не выполняется условие Fнабл›Fкрит.

23. Нелинейная регрессия — частный случай регрессионного анализа, в котором рассматриваемая регрессионная модель есть функция, зависящая от параметров и от одной или нескольких свободных переменных. Зависимость от параметров предполагается нелинейной.

нелинейными оказываются производственные функции (зависимость между объемом произведенной продукции и основными факторами производства - трудом, капиталом и т. п.), функции спроса (зависимость между спросом на товары или услуги и их ценами или доходом) и др.

Различают два класса нелинейных регрессий:

- регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;

- регрессии, нелинейные по оцениваемым параметрам.

Примером нелинейной регрессии по включаемым в нее объясняющим переменным могут служить следующие функции:

- полиномы разных степеней;

- равносторонняя гипербола -

К нелинейным регрессиям по оцениваемым параметрам относятся функции:

- степенная - ;

- показательная - ;

- экспоненциальная -

Из нелинейных функций, параметры которых без особых затруднений оцениваются методом наименьших квадратов (МНК), следует назвать хорошо известную в эконометрике равностороннюю гиперболу Она может быть использована не только для характеристики связи удельных расходов сырья, материалов, топлива с объемом выпускаемой продукции, времени обращения товаров от величины товарооборота, т. е. на микроуровне, но и на макроуровне. Классическим ее примером является кривая Филлипса, характеризующая нелинейное соотношение между нормой безработицы и процентом прироста заработной платы Для равносторонней гиперболы вида заменив на получим линейное уравнение регрессии оценка параметров которого может быть дана МНК. Система нормальных уравнений в этом случае выглядит следующим образом:

Решив эту систему, получим оценки параметров регрессионной модели Так, для кривой Филлипса величина параметра , равная 0, 00679, означает, что с ростом уровня безработицы темп прироста заработной платы стремится в пределе к нулю. Можно там определить тот уровень безработицы, при котором заработная плата оказывается стабильной и темп ее прироста равен нулю.

Вторым примером нелинейных зависимостей может служить взаимосвязь доли расходов на товары длительного пользования и общих сумм расходов или доходов. Математическое описание подобного рода взаимосвязей получило название кривых Энгеля. Он на основе исследования семейных расходов сформулировал закономерность - с ростом дохода доля доходов, расходуемых на продовольствие, уменьшается. Соответственно с увеличением дохода доля доходов, расходуемых на непродовольственные товары, будет возрастать. Однако это увеличение не беспредельно, ибо на все товары сумма долей не может быть больше единицы, а на отдельные непродовольственные товары этот предел может характеризоваться величиной параметра для уравнения вида где - доля расходов на непродовольственные товары; - доходы. Вместе с тем равносторонняя гипербола не является единственно возможной функцией для описания кривой Энгеля. Для этих целей можно использовать полулогарифмическую кривую Заменив на , опять получим линейное уравнение Данная функция линейна по параметрам и нелинейна по объясняющей переменной Оценки параметров находятся МНК из системы нормальных уравнений: