Оценка вариации уравнения регрессии

Хотя метод наименьших квадратов позволяет получить ли­нию регрессии, которая обеспечивает минимум вариа­ции, но, в любом случае, необходимо оценить величину вари­ации фактических значений Y _i от предсказанных зна­чений . На рис. 4 показана изменчивость фактических значений признака Y относительно линии регрессии.

Рассмотрим способ оценки изменчивости значений Y _i вокруг среднего значения , основанный на использовании общей суммы квадратов (total sum of squares — SST). В регрессионном анализе полная вариация, представляющая собой полную сумму квадратов, разделяется на объяснимую вариацию, или сумму квадратов регрессии (regression sum of squares — SSR), и необъяснимую вариацию или сумму квадратов ошибок (error sum of squares — SSE). Объяснимая вариация характе­ризует взаимосвязь между переменными X и Y, а необъяснимая зависит от других фак­торов.

Сумма квадратов регрессии (SSR) представляет собой сумму квадратов разностей между (предсказанным значением переменной Y) и (средним значением перемен­ной Y). Сумма квадратов ошибок (SSE) является частью вариации переменной Y, кото­рую невозможно описать с помощью регрессионной модели. Эта величина зависит от разностей между наблюдаемыми и предсказанными значениями.

Полная сумма квадратов (SST) равна сумме квадратов разностей между наблюдае­мыми значениями переменной Y и ее средним значением:

. (18)

Сумма квадратов регрессии (SSR) равна сумме квадратов разностей между предска­занными значениями переменной Y и ее средним значением:

(19)

Сумма квадратов ошибок (SSE) равна сумме квадратов разностей между наблюдае­мыми и предсказанными значениями переменной

(20)

Рис. 4. Оценка изменчивости в модели регрессии

Полная сумма квадратов (SST) равна сумме квадратов регрессии плюс сумма квадратов ошибок:

SST = SSR + SSE. ( 21 )

Величины SSR, SSE и SST не имеют очевидной интерпретации. Однако отношение суммы квадратов регрессии (SSR) к полной сумме квадратов (SST) представляет собой оценку полезности регрессионного уравнения. Это отношение называется коэффициентом смешанной корреляции (R-квадрат). Иногда используют термин «коэффициент детерминации».

Коэффициент смешанной корреляции равен результату деления суммы квадратов регрессии на полную сумму квадратов:

(22)

Коэффициент смешанной корреляции оценивает долю вариации переменной Y, которая объясняется независимой переменной X в регрессионной модели.