Lagrange multipliers

Lagrange multipliers"/>

Lagrange multipliers

Lagrange multipliers - 拉格朗日乘子法

拉格朗日乘子法是一种寻找多元函数在一组约束下的极值方法。>通过引入拉格朗日乘子，可将有 D $D$个变量与K$K$个约束条件的最优化问题转化为具有 D+K $D+K$个变量的无约束优化问题求解。本文主要讲解其中的数学原理，并引入KKT条件。

先考虑一个简单的等式约束的优化问题。假定 x $x$为2维向量，欲寻找x$x$的某个取值 x∗ $x^*$，即使目标函数 f(x1,x2) $f(x_1,x_2)$ 最小且同时满足 g(x1,x2)=0 $g(x_1,x_2)=0$的约束。针对此问题，通常的做法包含3步：首先，根据约束条件 g(x1,x2)=0 $g(x_1,x_2)=0$得到 x2 $x_2$关于 x1 $x_1$的表达式，即 x2=h(x1) $x_2=h(x_1)$；其次，将 x2=h(x1) $x_2=h(x_1)$带入目标函数中即 f(x1,h(x1)) $f(x_1,h(x_1))$，这样得到关于 x1 $x_1$单变量的优化问题；最后，将目标函数对 x1 $x_1$求导数，即可得到其最优值 x∗1