Методические указания. 1. Общая схема методов спуска

1. Общая схема методов спуска

Пусть дана функция , где , и задана начальная точка . Требуется найти минимум функции с точностью – по функции, – по переменным.

На k -м шаге () определяем вектор , в направлении которого функция уменьшается. В этом направлении делаем шаг величиной и получаем новую точку . Продолжаем спуск до тех пор, пока и .

Различные методы спуска отличаются выбором направления и величины шага. Как правило, для нахождения используется процедура одно­мер­но­го поиска.

2. Методы 0-го порядка (прямые методы)

К методам нулевого порядка относятся методы, не использующие производные для выбора направления спуска: метод вращающихся координат; метод деформируемого многогранника; метод Хука и Дживса; метод Гаусса; метод Пауэлла.

3. Методы 1-го порядка

К методам первого порядка относятся методы, использующие производные первого порядка для выбора направления спуска: метод наискорейшего спуска; метод сопряженных градиентов в модификации Данилина-Пшеничного; метод сопряженных градиентов в модификации Флетчера-Ривса.

4. Методы 2-го порядка

К методам второго порядка относятся методы, использующие производные первого и второго порядка для выбора направления спуска: метод Ньютона; модифицированный метод Ньютона.

5. Методы переменной метрики

К методам переменной метрики относятся методы, которые формально можно отнести к методам первого порядка, но имеющие более высокую скорость сходимости, близкую к методам второго порядка: метод Бройдена, метод Флетчера; метод Пирсона и др.