Метод наискорейшего спуска (метод градиентов)

Известно, что градиент функции f(z_lf z₂, z_n) в каждой точке направлен в сторону наискорейшего локального возрастания этой функции. Следовательно, для поиска минимума необходимо спускаться в противоположном направлении. Если минимизируемая функция дифференцируема и ограничена снизу, а ее градиент удовлетворяет условию Липшица, то итерационный процесс

будет сходиться к минимуму функции f из произвольной начальной точки с координатами z⁰₁, z⁰₂,..., z⁰_n.

Параметр a в формуле (8.7) определяет длину шага в направлении спуска. Длину шага можно выбирать из условия минимизации функции вдоль направления, противоположного градиенту. Такой вариант градиентного метода называют методом наискорейшего спуска. В другом варианте градиентного спуска длина шага а выбирается методом дробления. С помощью градиентного спуска минимум гладких функций находится значительно быстрее, чем при использовании координатного спуска. Однако наряду с вычислением функции f на каждой итерации градиентного метода приходится вычислять составляющие градиента этой функции. Кроме того, сходимость итерационного процесса может быть медленной для функций, имеющих овражный рельеф. В этом случае изменением масштабов переменных рекомендуется перейти к котловинному рельефу или применить так называемый овражный метод.

В окрестности точки минимума составляющие градиента функции имеют малые значения, что приводит к возрастанию чувствительности итерационного процесса к погрешностям вычислений и осложняет поиск на заключительном этапе.