Наискорейший спуск

Допустим, что переход из точки в точку происходит по направлению с шагом . Точка определеяется координатами , а следующая точка – координатами , где . При этом косинусы направлений такие, что . (5.11)

Возникает задача: как выбрать направление d, чтобы получить наибольшее изменение функции df при соблюдении условия (5.11) т.е. с ограничением. Логично предположить, что направление наиболее быстрого изменения функции- это направление роста градиента функции. Изменение значений функции определяется соотношениями

(5.12)

Чтобы получить наибольшее изменение функции , т.е. решить задачу определения максимума функции с ограничением, используем метод множителей Лагранжа для поиска функции

или .

На основе метода df достигает max, если φ достигает max. Берем производную от φ

(j =1, 2, …, n) и приравниваем ее нулю, получаем ,

следовательно,

. “Направления” совпадают с градиентами функции f(x) в точке x, или g(x).

Для min - f(x) или – g(x). Уравнение (0) можно записать так , где Θ – угол между векторами g(x) и dx. Угол выбран Θ =180⁰ , чтобы обеспечить направление – g(x):

.

Значение λ _i, минимизирующее функцию φ, может быть найдено любым методом одномерного поиска. В чистом виде метод работает медленно и не надежно. Но прежде чем перейти к более эффективным методам, рассмотрим свойства квадратичных функций.

F(x)= , где a – константа, b – постоянный вектор, G – положительно определенная симметрическая матрица.

min в точке .

Поставим задачу так, что в окрестности точки х₀ любую функцию φ (х) можно аппроксимировать квадратичной функцией:

Пусть min φ (x) находится в точке х_m

Берем производную и приравниваем ее к нулю.

, откуда:

, т.е. в итерационном виде:

, а с учетом множителей Лагранжа:

.

Видим, что по сравнению с методом наискорейшего спуска требуется умножение

на G^-1(x_i), а это самая трудоемкая операция метода.

Но если проводить умножение на H _i, а не на G^-1(x _i) , то получим метод Давидона – Флетчера – Пауэлла (ДФП). - симметрическая положительно определенная матрица. В ходе вычислений она приближается к матрице .