Метод Коши

Припустимо, що в деякій точці простору керуємих змінних необхідно визначити напрямок найшвидшого локального спуску, тобто найбільшого локального зменшення цільової функції. Розложимо цільову функцію в окружності точки в ряд Тейлора,

(4.2)

та відкинемо члени другого порядку та вище. Можна побачити, що локальне зменшення цільової функції визначається 2-м доданком, оскільки значення фіксовано. Найбільше зменшення f асоціюється з вибором такого напрямку виразу (4.1), , якому відповідає найбільша від’ємна величина скалярного множення, який є другим доданком розкладення (4.2). Вказаний вибір забезпечується при

, (4.3)

а другий доданок розкладення (4.2) приймає вигляд: ; . Розглянутий випадок відповідає найшвидшому локальному спуску. Тому в основі найпростішого градієнтного методу лежить формула

(4.4),

де - заданий додатній параметр.

Метод має два недоліки:

- виникає необхідність вибору значення ;

- методу властива повільна сходимість до точки мінімуму внаслідок малості навколо цієї точки.

Таким чином, правильно буде визначити значення на кожній ітерації.

(4.5).

Значення обчислюється шляхом розв’язання задачі мінімізації в напрямку методом одновимірного пошуку.

Забиваем Сайты В ТОП КУВАЛДОЙ - Уникальные возможности от SeoHammer

Каждая ссылка анализируется по трем пакетам оценки: SEO, Трафик и SMM. SeoHammer делает продвижение сайта прозрачным и простым занятием. Ссылки, вечные ссылки, статьи, упоминания, пресс-релизы - используйте по максимуму потенциал SeoHammer для продвижения вашего сайта.

Что умеет делать SeoHammer

— Продвижение в один клик, интеллектуальный подбор запросов, покупка самых лучших ссылок с высокой степенью качества у лучших бирж ссылок.
— Регулярная проверка качества ссылок по более чем 100 показателям и ежедневный пересчет показателей качества проекта.
— Все известные форматы ссылок: арендные ссылки, вечные ссылки, публикации (упоминания, мнения, отзывы, статьи, пресс-релизы).
— SeoHammer покажет, где рост или падение, а также запросы, на которые нужно обратить внимание.

SeoHammer еще предоставляет технологию Буст, она ускоряет продвижение в десятки раз, а первые результаты появляются уже в течение первых 7 дней.

Зарегистрироваться и Начать продвижение

Даний градієнтний метод пошуку носить назву методу найшвидшого спуску або методу Коши, поскільки Коши першим використав аналогічний алгоритм для рішення систем лінійних рівнянь. Пошук вздовж прямої у відповідності з формулою (4.5) забезпечує більш високу надійність методу Коши в порівнянні з найпростішим градієнтним методом (коли не змінюється на кожній ітерації), однак швидкість його збіжності при розв’язку ряду практичних задач залишається недопустимо низькою. Це поянюється тим, що змінення змінних безпосередньо залежить від величини градієнта, який прямує до 0 в околі точки мінімуму та відсутній механізм прискорения руху до точки мінімуму на останніх ітераціях. Одна з головних переваг методу Коши пов’язана з його стійкістю. Метод має важливу властивість, яка заключається в тому, що при достатньо малій довжині кроку ітерації забезпечують виконання нерівності:

(4.6).

Метод Коши, як правило, дозволяє достатньо зменшити значення цільової функції прямуванням з точок, що розміщені на значних відстанях від точки мінімуму, і тому часто використовується при реалізації градієнтних методів в якості початкової процедури. На прикладі методу Коши можна продемонструвати окремі заходи, які використовуються при реалізації різних градієнтних алгоритмів.