Градиентный метод

Пусть функция непрерывно дифференцируема на , а Î

В основе градиентного метода минимизации (максимизации) функций многих переменных лежит следующее замечательное свойство градиента: при направление наибыстрейшего возрастания функции в точке совпадает с направлением градиента , а направление наибыстрейшего убывания - с направлением антиградиента .

Это метод, как и все итерационные методы, предполагает выбор начального приближения - некоторой точки . Общих правил выбора точки в градиентном методе, как, впрочем, и в других методах, к сожалению, нет. В тех случаях, когда из геометрических, физических или каких-либо других соображений может быть получена априорная информация об области расположения точки (или точек минимума), то начальное приближение стараются выбрать поближе к этой области.

Пусть выбрано. Тогда градиентный метод заключается в построении последовательности { } по правилу , , .

- длина шага или просто шаг градиентного метода.

Если , то шаг можно выбрать так, чтобы . Если , то - точка минимума функции . В этом случае итерационный процесс прекращается.

Существуют различные способы выбора величины в градиентном методе. В зависимости от способа выбора можно получить различные варианты градиентного метода.

На луче, направленном по антиградиенту, введем функцию одной переменной , и определим из условий .

Этот метод принято называть методом наискорейшего спуска. На практике итерации продолжают до тех пор, пока не будет выполнен некоторый критерий окончания счета

, или , или , где - заданные положительные маленькие числа.

Теоретические исследования и численные эксперименты подтверждают, что метод наискорейшего спуска и другие варианты градиентного метода медленно сходятся в тех случаях, когда поверхности уровня функции сильно вытянуты и функция имеет так называемый овражный характер. Для ускорения сходимости к решению в таких случаях предлагается исследовать овражный метод.

Для более детального знакомства с данной темой предлагается книга Ф. П. Васильева " Численные методы решения экстремальных задач".

Контрольные вопросы

1. В чем суть классического подхода к решению задач нахождения экстремума функций одной переменной?

2. Сформулировать общую схему нахождения экстремума функций одной переменной при помощи численных методов.

3. Методы равномерного и поразрядного приближения, в чем их суть?

4. Метод квадратичной интерполяции. Применение этого метода к решению задач нахождения экстремума функций одной переменной.

5. Метод золотого сечения. Постановка задачи.

6. Сравнить методы одномерной оптимизации.

7. Сформулировать общую схему нахождения экстремума функций многих переменных при помощи численных методов.

8. Метод координатного спуска и его реализация для функций многих переменных.

9. Метод наискорейшего координатного спуска, в чем его суть?

Содержание лабораторной работы «Численные методы решения экстремальных задач

1. Составить, отладить и протестировать программу для нахождения экстремума функций одной переменной на контрольном примере каждым из следующих методов:

· поразрядного приближения;

· дихотомии;

· квадратичной интерполяции (формулы для нахождения коэффициентов параболы и координат ее вершины выведите самостоятельно);

· золотого сечения (обязательное условие – на каждом шаге, кроме первого, обращение к функции происходит ровно один раз).

2. Составить, отладить и протестировать программу для нахождения экстремума функций многих переменных на контрольном примере методом координатного спуска, для каждой переменной применяя один из методов, описанных в задании 1 данной лабораторной работы.

3. Составить, отладить и протестировать программу для нахождения экстремума функций многих переменных на контрольном примере методом наискорейшего спуска.

4. Записать в отчет название и цель работы, постановку задачи, текст программ и ответы.