Безусловная многопараметрическая оптимизация

Здесь предполагается, что W(x) непрерывна и унимодальна. Если рассматриваемые методы применяются для анализа мультимодальных функций, то приходится ограничиваться идентификацией локальных минимумов. Классификация изучаемых методов прямого поиска представлена на рис. 13.5. К особенностям всех трех методов можно отнести следующее:

· относительную простоту соответствующих вычислительных процедур, которые быстро реализуются и легко корректируются;

· не требуют явного выражения целевой функции в аналитическом виде;

· могут требовать более значительных затрат времени по сравнению с методами, основанными на производных.

Метод поиска по симплексу

Процедура симплексного метода базируется на регулярном симплексе. Регулярный симплекс в N-мерном пространстве представляет собой многогранник, образованный (N+1)- равностоящими друг от друга точками - вершинами. Так, в задаче с двумя переменными симплексом является равносторонний треугольник, с тремя - тетраэдр.

Работа алгоритма симплексного поиска начинается с построения регулярного симплекса в пространстве независимых переменных и оценивания значений целевой функции в каждой из вершин симплекса. При этом отбрасывается вершина, которой соответствует наибольшее значение целевой функции. Затем найденная вершина проецируется через центр тяжести остальных вершин симплекса в новую точку, которая используется в качестве вершины нового симплекса. Если функция убывает достаточно плавно, то итерации продолжаются до тех пор, пока либо не будет накрыта точка минимума, либо не начнется циклическое движение по двум или более симплексам. В таких случаях можно воспользоваться следующими тремя правилами:

1. “Накрытие” точки минимума. Если вершина, которой соответствует наибольшее значение целевой функции, построена на предыдущей итерации, то вместо нее берется вершина, которой соответствует следующее по величине значение целевой функции.

2. Циклическое движение. Если некоторая вершина симплекса не исключается на протяжении более чем М итераций, то необходимо с помощью коэффициента редукции уменьшить размеры симплекса. Новый симплекс следует строить, выбрав в качестве базовой точку, которой соответствует минимальное значение целевой функции. В качестве расчетной формулы для расчета числа итераций (с округлением до целого) использовать следующую эмпирическую зависимость: M = 1,65N + 0,05N², где N - размерность задачи.

3. Критерий окончания поиска. Поиск завершается, когда или размеры симплекса, или разности между значениями функций в вершинах становятся достаточно малыми в контексте конкретной прикладной задачи. В этой связи необходимо задать величину параметра окончания поиска.

Реализация рассматриваемого алгоритма основана на вычислениях двух типов:

· построении регулярного симплекса при заданных базовой точки x^o и масштабном множителе a:

где

i и j = 1,2... N;

xⁱ - координата i - той вершины.

Приращения d₁ и d₂ зависят только от размерности задачи N и выбранного масштабного множителя a (выбирается исходя из характера решаемой задачи) и вычисляются по формулам:

;

.

· расчете координат отраженной точки.

Пусть x^j - точка, подлежащая отражению. Центр тяжести остальных N точек расположен в точке

.

Все точки прямой, проходящей через x^j и x_c, задаются формулой

x = x^j + l(x_c - x^j).

При l=0 получаем исходную точку x^j, l=1 - центр тяжести x_c.

Для того чтобы построенный симплекс обладал свойством регулярности, отражение должно быть симметричным, следовательно, l=2, т.е.

x^j_новая = 2x_c - x^j_{предыдущая}.

Итерации продолжаются до тех пор, пока не потребуется применение правил 1, 2, 3.

Преимущества метода:

· сравнительная простота логической структуры метода и, соответственно, программы для ЭВМ;

· используется сравнительно небольшое число заранее установленных параметров;

· невысокий уровень требований к ЭВМ.

· алгоритм эффективен даже в тех случаях, когда ошибка вычисления значений целевой функции велика, т.к. при его реализации используют наибольшие значения функции в вершинах, а не меньшие.

Недостатки метода:

· возникает проблема масштабирования, поскольку все координаты вершин симплекса зависят от одного масштабного множителя. Чтобы избежать такого рода проблем в практических задачах, следует промасштабировать все переменные, с тем чтобы их значения были сравнимы по величине;

· алгоритм работает достаточно медленно, т.к. полученная на предыдущих итерациях информация не используется для ускорения поиска;

· не существует простого способа расширения симплекса. Требуется перерасчет значений целевой функции во всех точках образца.

Метод поиска Хука-Дживса

Процедура поиска Хука-Дживса представляет собой комбинацию “исследующего поиска” и “ускоряющего поиска по образцу” (рис. 13.6).

Исследующий поиск ориентирован на выявление локального характера поведения целевой функции и определение направлений вдоль “оврагов”. Для проведения исследующего поиска необходимо задать величину шага, которая может быть различной для разных координатных направлений и изменяться в процессе поиска. Поиск начинается в некоторой исходной точке. Если значения целевой функции в пробной точке не превышает значение функции в исходной точке, то шаг поиска рассматривается как успешный. В противном случае необходимо вернуться в предыдущую точку и сделать шаг в противоположное направление с последующей проверкой значения целевой функции. После перебора всех N координат исследующий поиск завершается. Полученную в результате точку называют “базовой точкой”.

Поиск по образцу заключается в реализации единственного шага из полученной базовой точки x^k вдоль прямой, соединяющей эту точку с предыдущей базовой точкой x^k-1. Новая точка образца x^k+1 определяется в соответствии с формулой

x^k+1 = x^k + (x^k - x^k-1).

Как только движение по образцу не приводит к уменьшению целевой функции, точка x^k+1 фиксируется в качестве временной базовой точки и вновь проводится исследующий поиск. Если в результате получается точка с меньшим значением целевой функции, чем в точке x^k, то она рассматривается как новая базовая точка x^k+1.

С другой стороны, если исследующий поиск неудачен, то необходимо вернуться в точку x^k и провести исследующий поиск с целью выявления нового направления минимизации. В конечном счете возникает ситуация, когда такой поиск не приводит к успеху. В этом случае требуется уменьшить величину шага путем введения некоторого множителя и продолжить исследующий поиск. Поиск завершается, когда величина шага становится достаточно малой.

Рис. 13.6. Поиск по методу Хука-Дживса

Алгоритм:

Шаг 1. Определить: начальную точку x^o; приращения D_i; i=1,2,...,N; коэффициент уменьшения шага a>1; параметр окончания поиска e>0.

Шаг 2. Провести исследующий поиск.

Шаг 3. Был ли исследующий поиск удачным: да - к шагу 5; нет - продолжить.

Шаг 4. Проверка на окончание поиска: ||Dx||<e?

· Если “да” - прекратить поиск. Текущая точка аппроксимирует точку оптимума x^*.

· Если “нет” - уменьшить приращение по формуле: D_i = D_i/a, i=1,2,...,N. Перейти к шагу 2.

Шаг 5. Провести поиск по образцу: x_p^k+1 = x^k + (x^k - x^k-1).

Шаг 6. Провести исследующий поиск, используя x_p^k+1 в качестве базовой точки. Пусть x^k+1 - полученная в результате точка.

Шаг 7. W(x^k+1)< W(x^k)?

· Если “да” - положить x^k-1= x^k, x^k= x^k+1 и перейти к шагу 5.

· Если “нет” - перейти к шагу 4.

Преимущества метода:

· несложная стратегия поиска;

· невысокий уровень требований к ЭВМ;

· широкое применение в инженерных приложениях.

Недостататок:

· при значительных нелинейных эффектах алгоритм вырождается в последовательность исследующих поисков без переходов к ускоряющему поиску по образцу.

Метод сопряженных направлений Пауэлла

Метод ориентирован на решение задач с квадратичными целевыми функциями и основывается на фундаментальных теоретических результатах.

Основная идея метода заключается в том, что если построена система сопряженных направлений, то точку оптимума квадратичной функции W(x) можно найти в результате реализации в точности N² (N - размерность задачи) одномерных поисков. Систему сопряженных направлений можно определить на основе следующего элементарного свойства квадратичных функций.

Свойство параллельного подпространства. Рассмотрим двухмерное пространство (рис. 13.7). Пусть e¹=[1,0]^T; e²=[0,1]^T - единичные координатные вектора. При заданной начальной точке x^o вычислим значение l^o, которому соответствует минимум целевой функции W(x^o+ l^o e¹). Положим, x¹ = x^o + l^o e¹ и вычислим значение l¹, которому соответствует минимум W(x¹+ l¹ e²). Далее вычислим значение l² , минимум W(x^o + l^o e¹) и, положим, x³ = x² + l² e¹. При этом направление x³-x¹ и e¹ оказываются сопряженными, а поиск, проводимый из точки x¹ или x³ в направлении x¹-x^3, обеспечивает получение точки минимума всего за 4 одномерных поиска.

Рис. 13.7. Двухмерный поиск по методу сопряженных направлений Пауэлла

Проведенное построение для двухмерного случая, естественным образом, обобщается на случай задач более высокой размерности. Рассмотрим трехмерный случай (рис. 13.8).

Сначала поиск осуществляется вдоль трех координатных направлений e¹, e² и e³. Затем эти направления заменяются вновь построенными сопряженными направлениями. Серия одномерных поисков из x^o проводится в направлении e³, затем e¹, e² и снова e³. В результате построены сопряженные направления e³ и x⁴-x¹. Направление e¹ заменяется новым направлением поиска 4. Следующая серия поисков проводится в направлении 4, затем e², e³ и снова 4. Согласно свойству параллельного подпространства новое направление x⁸-x⁵, 5, сопряжено не только с 4, но и с e³. Следовательно, e³, x⁴-x⁵ и x⁸-x⁵ образуют систему взаимно сопряженных направлений. Поэтому, если провести дополнительный поиск из точки x⁸ в направлении x⁸-x⁵, то будет найдена точка x⁹, в которой должен достигаться оптимум квадратичной функции трех переменных W(x), поскольку поиск последовательно осуществлялся в трех взаимно сопряженных направлениях.

Рис. 13.8. Трехмерный поиск по методу сопряженных направлений Пауэлла