Учебный модуль

РЕГРЕССИОННЫЙ АНАЛИЗ

линейная регрессия

2010

Учебный модуль «Регрессионный анализ» предназначен для студентов специальности «Управление качеством». Основная направленность модуля углубленное и самостоятельное изучение студентами дисциплины «Статистические методы в управлении качеством».

Модуль может быть использован также при подготовке студентов к государственному экзамену и в процессе дипломного проектирования, а также в процессе подготовки аспирантов по специальности 05.02.23 «Стандартизация и управление качеством продукции».

Модуль рассчитан также на широкий круг лиц, занимающихся разработкой систем качества и практическим управлением качеством.

Требования к уровню подготовки студентов:

Студенты должны предварительно освоить курс «Математическая статистика», знать основные статистические законы и формулы вычисления их параметров: математического ожидания; дисперсии; коэффициента корреляции.

Введение

Регрессионный анализ – это методология решения задач, связанных с построением функциональных зависимостей между одной зависимой (эндогенной) переменной и одной или более независимыми (экзогенными) переменными . Независимую переменную часто называют регрессором, а зависимую переменную – откликом.

Вид функциональной связи (в рассматриваемом случае линейной связи) между переменными X и Y предварительно обосновывается и принимается как гипотеза, а сам регрессионный анализ проверяет статистическую состоятельность модели при данной гипотезе.

Рассмотрим модель линейной функциональной связи между зависимой переменной Y и одной независимой переменной X. При этом истинный характер зависимости искажен внешними помехами или внутренними шумами, т.е. имеем модель вида

Y = a +bX + ε (1)

где a - постоянная составляющая при X = 0;

b - коэффициент регрессии, отражает наклон прямой линии, вдоль которой рассеяны данные наблюдений;

ε - ошибка, также называемая остат­ком. Она отражает тот факт, что обычно кроме независимой переменной X присутствуют другие факторы, не включенные в данную модель, но которые искажают истинный характер функциональной зависимости.

В результате анализа экспериментальных данных мы пытаемся дать оценку параметрам a и b. Обозначим оценочные значения параметров a и b через а и b соответственно. По этим оценочным значениям затем можно рассчитать ожидаемые значения Y, т.е. , решая уравнение

(2)

Поэтому непосредственной задачей регрессионного анализа является статистическое оценивание (определение) неизвестных параметров а и b регрессионной модели (2).

Для отыскания оценок широко применяется метод наименьших квадратов (МНК). Он позволяет получить наиболее вероятные (максимально правдоподобные) оценки параметров в том случае, когда результаты эксперимента представ­ляют собой выборку, данные которой искажены помехами, распределенными по нормальному закону. В этом частном, но широко распространенном случае, МНК совпадает с общим статистическим методом максимального правдоподобия (ММП). Метод максимального правдоподобия можно использо­вать при любых законах распределения случайных помех, а метод наименьших квадратов вытекает из ММП только в случае нормального распределения. Однако в ряде случаев МНК дает хорошие результаты и при существенных отклонениях закона распределения помех от нормального.

Обычно регрессионный анализ реализуется в ходе планирования и проведения эксперимента.

Предположим, что для исследования зависимости между переменными X и Y был проведен эксперимент, в ходе которого для некоторого набора фиксированных значений переменной X: X ₁, X ₂,..., X _n получен соответствующий набор значений для переменной Y: Y ₁, Y ₂, …, Y _n.

Результаты эксперимента представлены в табл. 1 и изображены графически на рис. 1.

Таблица 1

В общем случае, даже если между переменными X и Y существует линейная функциональная зависимость, экспериментальные данные, из-за наличия помех, не лежат на прямой линии. Каким образом по полученным экспериментальным данным подобрать уравнение прямой линии, т.е. определить ее коэффициенты а и b? При принятых выше допущениях будем искать значения коэффициентов а и b из условия, что сумма квадратов отклонения экспериментальных точек от прямой линии минимальна. Иными словами, из всех возможных прямых необходимо, варьируя коэффициентами а и b, подобрать такую прямую линию, которая минимизировала бы величину функции (3):

(3)

Решение данной задачи составляет сущность метода наименьших квадратов (МНК).

Рис. 1. Графическое изображение экспериментальных данных и подбор для них «наилучшей» прямой