Метод Коши

Припустимо, що в деякій точці простору керуємих змінних необхідно визначити напрямок найшвидшого локального спуску, тобто найбільшого локального зменшення цільової функції. Розложимо цільову функцію в окружності точки в ряд Тейлора,

(4.2)

та відкинемо члени другого порядку та вище. Можна побачити, що локальне зменшення цільової функції визначається 2-м доданком, оскільки значення фіксовано. Найбільше зменшення f асоціюється з вибором такого напрямку виразу (4.1), , якому відповідає найбільша від’ємна величина скалярного множення, який є другим доданком розкладення (4.2). Вказаний вибір забезпечується при

, (4.3)

а другий доданок розкладення (4.2) приймає вигляд: ; . Розглянутий випадок відповідає найшвидшому локальному спуску. Тому в основі найпростішого градієнтного методу лежить формула

(4.4),

де - заданий додатній параметр.

Метод має два недоліки:

- виникає необхідність вибору значення ;

- методу властива повільна сходимість до точки мінімуму внаслідок малості навколо цієї точки.

Таким чином, правильно буде визначити значення на кожній ітерації.

(4.5).

Значення обчислюється шляхом розв’язання задачі мінімізації в напрямку методом одновимірного пошуку.

Даний градієнтний метод пошуку носить назву методу найшвидшого спуску або методу Коши, поскільки Коши першим використав аналогічний алгоритм для рішення систем лінійних рівнянь. Пошук вздовж прямої у відповідності з формулою (4.5) забезпечує більш високу надійність методу Коши в порівнянні з найпростішим градієнтним методом (коли не змінюється на кожній ітерації), однак швидкість його збіжності при розв’язку ряду практичних задач залишається недопустимо низькою. Це поянюється тим, що змінення змінних безпосередньо залежить від величини градієнта, який прямує до 0 в околі точки мінімуму та відсутній механізм прискорения руху до точки мінімуму на останніх ітераціях. Одна з головних переваг методу Коши пов’язана з його стійкістю. Метод має важливу властивість, яка заключається в тому, що при достатньо малій довжині кроку ітерації забезпечують виконання нерівності:

(4.6).

Метод Коши, як правило, дозволяє достатньо зменшити значення цільової функції прямуванням з точок, що розміщені на значних відстанях від точки мінімуму, і тому часто використовується при реалізації градієнтних методів в якості початкової процедури. На прикладі методу Коши можна продемонструвати окремі заходи, які використовуються при реалізації різних градієнтних алгоритмів.