Двумерный случай

Линии уровня и кривая .

Пусть требуется найти экстремум некоторой функции двух переменных при условии, задаваемом уравнением . Мы будем считать, что все функции непрерывно дифференцируемы, и данное уравнение задает гладкую кривую на плоскости . Тогда задача сводится к нахождению экстремума функции на кривой . Будем также считать, что не проходит через точки, в которых градиент обращается в .

Нарисуем на плоскости линии уровня функции (то есть кривые ). Из геометрических соображений видно, что экстремумом функции на кривой могут быть только точки, в которых касательные к и соответствующей линии уровня совпадают. Действительно, если кривая пересекает линию уровня в точке трансверсально (то есть под некоторым ненулевым углом), то двигаясь по кривой из точки мы можем попасть как на линии уровня, соответствующие большему значению , так и меньшему. Следовательно, такая точка не может быть точкой экстремума.

Тем самым, необходимым условием экстремума в нашем случае будет совпадение касательных. Чтобы записать его в аналитической форме, заметим, что оно эквивалентно параллельности градиентов функций и в данной точке, поскольку вектор градиента перпендикулярен касательной к линии уровня. Это условие выражается в следующей форме:

где — некоторое число, отличное от нуля, и являющееся множителем Лагранжа.

Рассмотрим теперь функцию Лагранжа, зависящую от и :

Необходимым условием ее экстремума является равенство нулю градиента . В соответствии с правилами дифференцирования, оно записывается в виде

Мы получили систему, первые два уравнения которой эквивалентны необходимому условию локального экстремума (1), а третье — уравнению . Из нее можно найти . При этом , поскольку в противном случае градиент функции обращается в нуль в точке , что противоречит нашим предположениям. Следует заметить, что найденные таким образом точки могут и не являться искомыми точками условного экстремума — рассмотренное условие носит необходимый, но не достаточный характер. Нахождение условного экстремума с помощью вспомогательной функции и составляет основу метода множителей Лагранжа, примененного здесь для простейшего случая двух переменных. Оказывается, вышеприведенные рассуждения обобщаются на случай произвольного числа переменных и уравнений, задающих условия.

На основе метода множителей Лагранжа можно доказать и некоторые достаточные условия для условного экстремума, требующие анализа вторых производных функции Лагранжа.

9.

10.

Метод штрафных функций