（整理自AndrewNG的课件，转载请注明。整理者：华科小涛@http://www.cnblogs.com/hust-ghtao/）
SVM有点让人头疼，但还是要弄明白。把这一大块搞懂了，会很有成就感的哦！今天先不谈SVM，先来说一下如何解决带约束的优化问题。
假设我们有如下问题需要求解：
，这是一个带有等式约束的优化问题，下面让我们用拉格朗日乘数法（THE Method of Lagrange multipliers）来解决这个
问题，首先定义拉格朗日函数：
，其中
就被成为拉格朗日乘子，然后就令
的偏导分别为0就可求得参数：
。这种方法就是我们学过的用拉格朗日乘数法求函数的极值。
下面，让我们将这个问题扩展一下，引入不等式约束：
，同样我们定义更一般的拉格朗日函数：
，其中
和
称为拉格朗日乘子。