Метод наименьших квадратов.

В задачах практики нередки случаи, когда известны дискретные значения y_i некоторой функции при соответствующих значениях х_i аргумента на интервале [a, b]. (Например, значения, полученные в ходе экспериментальных исследований). Для определения значений функции у в других точках интервала, можно подобрать функцию j(х), в некотором смысле близкую к у(х) – аппроксимирующуюеё на этом интервале. В простейшем случае- полиномом вида j(х) = а₀ + а₁х + а₂х² + … + а_nxⁿ, коэффициенты а_i которого определяются так, чтобы обеспечить необходимое приближение к функции у. (Число слагаемых определяется расположением точек (x_i, y_i) и требуемой точностью аппроксимации). Задача удовлетворительно решается методом наименьших квадратов, заключающемся в следующем. Рассмотрим сумму квадратов разностей значений функций у и j(х) при известных значениях аргумента x_i. Очевидно, что и j(х) и S – функции параметров а_i (в данном случае – коэффициентов полинома). Необходимо так подобрать эти параметры, чтобы сумма квадратов отклонений была минимальна, т.е. нужно найти минимум функции нескольких переменных S(a₀, a₁, a₂, …, a_n). Необходимое условие экстремума имеет вид:

; ; …; (5.13.).

и сводится к системе уравнений, число которых равно числу неизвестных параметров а_i.

Пример: В ходе эксперимента получены значения y_i функции при четырех (n = 4) значениях аргумента х_i (см. таблицу)

Будем искать аппроксимирующую зависимость j(х) функции у(х) в виде полинома первой степени j(х) = кх + b (а₀ = b, a₁ = к) (линейная зависимость).

Получим .

Из условия (1) находим:

(Используя таблицу, найдем:

; ; ; )

k = -26/35, b=150/35.

Получена система двух линейных уравнений с двумя неизвестными, решая которую найдем: и .

Искомая функция j(х) принимает вид: .

На рис. 5.3. нанесены точки (x_i, y_i) и найденная прямая. В случае аппроксимации функции полиномом более высокого порядка и при ином задании аппроксимирующей функции j(х) метод отыскания ее параметров остается прежним, но усложняются необходимые вычисления (что может быть оправдано точностью аппроксимации). Отметим, что аппроксимацию табличной функции по методу наименьших квадратов (МНК) с помощью степенных многочленов обычно производят, когда степень многочлена не превышает шестую. При дальнейшем увеличении степени многочлена происходит, как правило, накопление вычислительных погрешностей решения системы. Избежать этого можно ища приближения табличной функции с помощью большого числа линеаризуемых функций.

И ещё - МНК применяется, когда число экспериментальных точек хотя бы на единицу больше числа определяемых коэффициентов многочлена. При равенстве этих величин задача аппроксимации МНК трансформируется в задачу интерполяции.

Контрольные вопросы.

1) В чём состоит МНК?

2) При равенстве каких величин задача аппроксимации МНК трансформируется в задачу интерполяции?