Задача линейной регрессии и оценка по методу наименьших квадратов.

Задача линейной регрессии является частным случаем практической задачи, изложенной в предыдущем пункте, в котором априорно известно (или предполагается), что условное математическое ожидание является функцией линейно зависящей от параметра :

(9.1)

где – фиксированный, но неизвестный числовой вектор, и – известные детерминированные функции (). В этом важном частном случае может быть получено уравнение для нахождения вектора параметров , при котором среднеквадратичное отклонение принимает наименьшее значение.

Из (9.1) следует, что:

, где ,

(9.2)

– -ая строка матрицы , и среднеквадратичное отклонение принимает вид:

.

Решение задачи нахождения вектора , при котором среднеквадратичное отклонение принимает наименьшее значение, дается методом наименьших квадратов, а сам вектор , называют оценкой по методу наименьших квадратов.

Необходимое условие экстремума как функции параметра заключается в равенстве частных производных нулю в точке :

, .

Вычислим частные производные:

, ,

, ,

,

(9.3)

Полученное уравнение называется нормальным уравнением метода наименьших квадратов. Нормальное уравнение играет роль необходимого условия: «если принимает наименьшее значение в точке , тогда удовлетворяет нормальному уравнению ». Отсюда следует, что среди всех решений нормального уравнения есть решения, доставляющие минимальное значение среднеквадратичному отклонению. Однако, отсюда еще не следует, что любое решение нормального уравнения будет доставлять минимальное значение среднеквадратичному отклонению. Тем не менее, оказывается, что это действительно так, необходимое условие в некоторых случаях является достаточным: «если удовлетворяет нормальному уравнению , тогда принимает наименьшее значение в точке », доказательству этого факта посвящено утверждение 9.2, основанное на утверждении 9.1.