Принцип наименьших квадратов

Рассмотрим величины х_ъ..., х_к как независимые переменные. При этом каждое значение у можно считать случайным значени­ем величины у, которое «выбирается» в соответствии с ее услов­ным распределением к(у\х_и..., х_к) при фиксированных значениях х_ь..., х_к независимых переменных. При такой интерпретации пе­ременных поставленную выше задачу замены реальной статисти­ческой связи у с XI,..., х_к на функциональную (сглаженную) зави­симость у=/(х\,..., хк) можно свести к построению средней 136

квадратической регрессии у на х_ь..., х_к при условии, что функция у =Дх_и..., хк) относится к определенному классу функций Ср

Предположим, что все функции из класса Су описываются оп­ределенным набором параметров (далее эти параметры обозна­чаются через а_и а_г,..., а_м) и соответственно используем следую­щее обозначение для таких функций (случай множественной за­висимости):

У=Л< *\> а₂,..., а_м; х_и..., х_к).

В рассмотренных выше представлениях зависимости у от х_! ,..., х_А-роль указанных параметров играют: в случае множествен­ной линейной зависимости — а₀, а\,..., а_к при М=К+ 1, в кине­тической зависимости — а₀, а_ь..., а_к, /_ь..., /^ при М= 2К+ 1 и т. д.

Средняя квадратическая регрессия определяется как наилуч­шее функциональное представление зависимости случайной величины у от х_и..., х_кв смысле принципа наименьших квадра­тов. Поскольку условные распределения к{у\х_х,..., х_к) неизвест­ны и на практике приходится иметь дело с выборочными их представлениями, этот принцип формализуется следующим образом:

определить функцию / из класса С/, то есть найти значения параметров а_ь..., а_м, при которых минимизируется сумма квадра­тов отклонений случайных значений величины у, полученных в выборках, от соответствующих значений функции/

N

X

У=1

1^}~/{а_ъ а₂,..., а_м; х{, х{,..., х^

► тт.

(8.1)

Отметим, что в приведенной сумме величины у-', х(,..., х^_к, ]=\,.,., Ы — суть константы, и, следовательно, эта сумма может рассматриваться как функция только переменных а_и..., а_м.

Принцип наименьших квадратов служит источником получе­ния так называемых нормальных уравнений для определения ис­комых значений параметров а_ъ..., а_м. Далее предполагается, что первые частные производные функции из заданного класса по параметрам а_ь..., а_м существуют. Для получения нормальных уравнений в соответствии с необходимыми условиями достиже­ния экстремума приравняем к нулю эти производные. С точнос­тью до постоянных коэффициентов получим так называемую си­стему нормальных уравнений, из которой и находят значение па­раметров а\,..., а_м:

N

X

N

X

у* -/[а_ъ..., а_м; х{,..., х{ф — у-¹ -/(а_и..., а_м\х{,..., х^-^-

х_х,..., х_к

х{,..., х^}_к

=0;

=0:

(8.2)

X

У=1

^ -/(«], -

, ам', х

)

" к

#

с? а

Х/,..., 4

=0.

8.3. СИСТЕМЫ НОРМАЛЬНЫХ УРАВНЕНИЙ

ДЛЯ ОСНОВНЫХ ВИДОВ

ПРОИЗВОДСТВЕННЫХ ФУНКЦИЙ

Рассмотрим несколько примеров системы нормальных урав­нений для случая парной зависимости (М= 1); во всех них нор­мальные уравнения линейны относительно параметров а_и..., а_м.

1. Пусть Су—класс линейных функций, то есть ищется ли­нейная средняя квадратическая регрессия ^ нах. В принятых обозначениях это означает, что реальную статистическую за­висимость результативного показателя у от производственного фактора х мы хотим заменить функциональной линейной свя­зью

У=Ааи аъ х) = а_х + а₂х.

(8.3)

Подставляя это выражение в общую систему нормальных уравнений (8.2), после дифференцирования и элементарных пре­образований получим

N. N.

а_{И+а₂ X х³ = ХУ; у=1 У=1

7 = 1 у = Г ' у = Г '

(8.4)

где N '— общее число наборов экспериментальных данных (число наблюдений).

При проведении вычислений обычно уравнения из этой сис­темы делят на число наблюдений, приводя ее к виду

й\\а₂