Градиентные методы;

Безградиентные методы детерминированного поиска;

Методы случайного поиска.

Градиентные методы

Градиентные методы поиска оптимума целевой функции основаны на использовании двух основных свойств градиента функции.

1. Градиент функции – это вектор, который в каждой точке области определения функции направлен по нормали к поверхности уровня, проведенной через эту точку.

Проекции градиента на оси координат равны частным производным функции по соответствующим переменным, т.е.

. (2.4)

2. Направление градиента характеризует направление наибольшего возрастания функции.

К градиентным методам относятся: метод релаксации, градиента, наискорейшего спуска и ряд других [1,2,5].

Рассмотрим некоторые из градиентных методов.