Алгоритм решения задачи методом наискорейшего спуска

Пусть требуется найти минимум целевой функции

, , .

1. Выбирается начальная точка поиска .

2. Определяется значение целевой функции в начальной точке .

3. В исходной точке вычисляется градиент целевой функции (2.4).

Находится направление наискорейшего возрастания функции.

4. В направлении антиградиента делается шаг спуска

.

5. Рассчитывается значение целевой функции в точке

.

6. Сравниваются значения целевой функции в точке и начальной точке поиска .

Если , то выполненный шаг считается удовлетворительным и новое значение запоминается совместно с координатами точки .

Если же , то необходимо изменить начальную точку поиска , либо уменьшить величину рабочего шага .

7. Затем делается новый шаг в том же направлении и так до тех пор, пока не будет найден минимум в этом направлении.

Если в некоторой точке , то в точке вычисляется градиент целевой функции и определяется новое направление наибыстрейшего убывания функции.

8. Критерием окончания поиска является выполнение условия

,

которое проверяется после каждого удачного шага.