Метод покоординатного спуска

Желание уменьшить объем вычислительной работы, требуемой для осуществления одной итерации метода наискорейшего спуска, привело к созданию методов покоординатного спуска.

Пусть - нач–ое приближение. Вычислим частную производную по первой координате и примем:

где е₁={1, 0, …, 0}^T – единичный вектор оси х⁽¹⁾. Следующая итерация состоит в вычислении точки х₂ по формуле:

где е₂={0, 1, 0, …, 0}^T – единичный вектор оси х⁽²⁾ и т. д.

Таким образом, в методах координатного спуска мы спускаемся по ломанной, состоящей из отрезков прямых, параллельных координатным осям.

Спуск по всем координатам составляет одну «внешнюю» итерацию. Пусть к – номер очередной внешней итерации, а j – номер той координаты, по которой производится спуск. Тогда формула, определяющая следующее приближение к точке минимума, имеет вид:

В координатной форме формула выглядит так:

После j=n счетчик числа внешних итераций к увеличивается на единицу, а j принимает значение равное единице.

Величина шага a_к выбирается на каждой итерации аналогично тому, как это делается в градиентных методах. Например, если a_к=a постоянно, то имеем покоординатный спуск с постоянным шагом.

Схема алгоритма покоординатного спуска с постоянным шагом

Шаг 1. При к=0 вводятся исходные данные х₀, e₁, a.

Шаг 2. Осуществляется циклический по j (j=1, 2, …, n) покоординатный спуск из точки х_kn по формуле:

Шаг 3. Если ||x_(k+1)n – x_kn||£ e₁, то поиск минимума заканчивается, причем:

Иначе к=к+1 и переходим к шагу 2.

Схема метода Гаусса – Зейделя

Шаг 1. При к=0 вводятся исходные данные х₀, e₁.

Шаг 2. Осуществляется циклический по j (j=1, 2, …, n) покоординатный спуск из точки х_kn по формулам:

Шаг 3. Если ||x_(k+1)n – x_kn||£ e₁, то поиск минимума заканчивается, причем: