目录

1  Definitions and First Example

2  Properties of the Subdifferential Set

Subdifferential sets are always closed and convex.

3  Directional Derivatives             

3.1 Definition and Basic Properties

3.2 The Max Formula


1  Definitions and First Example

Def 3.1(次梯度) 【First-order Methods】 3 Subgradients (Zen学习笔记)是proper的,【First-order Methods】 3 Subgradients (Zen学习笔记)【First-order Methods】 3 Subgradients (Zen学习笔记)被称作f在x上的次梯度,如果满足

                                             【First-order Methods】 3 Subgradients (Zen学习笔记)

                                       【First-order Methods】 3 Subgradients (Zen学习笔记)

 想清楚这两个式子的细微差别。

【显然的,次梯度是在某点的梯度无法计算时产生的,所以次梯度的适用范围很广,对函数f并无太多要求】

                                        【First-order Methods】 3 Subgradients (Zen学习笔记)

对某个y,都有很多g满足上式。

Def 3.2 (次微分) f在x处的次微分即f在x处的次梯度的集合

                               【First-order Methods】 3 Subgradients (Zen学习笔记)


【First-order Methods】 3 Subgradients (Zen学习笔记)


2  Properties of the Subdifferential Set

Subdifferential sets are always closed and convex.

T3.9  (次微分闭凸性证明)

【First-order Methods】 3 Subgradients (Zen学习笔记)


Def3.10 (可微性定义)

我们说f在x上是次可微的,如果在上述定义下的 次微分集合是非空的。【First-order Methods】 3 Subgradients (Zen学习笔记)

定义次可微点的集合:【First-order Methods】 3 Subgradients (Zen学习笔记)

f   proper , dom(f) convex

【First-order Methods】 3 Subgradients (Zen学习笔记)

f   proper ,convex

【First-order Methods】 3 Subgradients (Zen学习笔记)

f convex,映射到R

【First-order Methods】 3 Subgradients (Zen学习笔记)

f  proper convex,

【First-order Methods】 3 Subgradients (Zen学习笔记)


【First-order Methods】 3 Subgradients (Zen学习笔记)

补充相对内部的定义

【First-order Methods】 3 Subgradients (Zen学习笔记)

f proper,convex 

【First-order Methods】 3 Subgradients (Zen学习笔记)

【3.18与3.14都在f proper,convex 下,内部比相对内部多了一个【First-order Methods】 3 Subgradients (Zen学习笔记)bounded的结论】

f proper,convex 

【First-order Methods】 3 Subgradients (Zen学习笔记)

【3.18、3.19与3.14都在f proper,convex 下,x分别属于【First-order Methods】 3 Subgradients (Zen学习笔记)【First-order Methods】 3 Subgradients (Zen学习笔记)【First-order Methods】 3 Subgradients (Zen学习笔记),其中都有【First-order Methods】 3 Subgradients (Zen学习笔记)非空的结论,【First-order Methods】 3 Subgradients (Zen学习笔记)多了【First-order Methods】 3 Subgradients (Zen学习笔记)bounded的结论】                          


3  Directional Derivatives             

3.1 Definition and Basic Properties

f在d方向的导数

【First-order Methods】 3 Subgradients (Zen学习笔记)

凸函数在其domain内部具有全方向的导数。

【First-order Methods】 3 Subgradients (Zen学习笔记)

方向导数的凸性和齐次性

【First-order Methods】 3 Subgradients (Zen学习笔记)

在凸性假设下,函数值与方向导数的联系。

【First-order Methods】 3 Subgradients (Zen学习笔记)

在没有凸性假设下,计算有限函数集合的最大方向导数

【First-order Methods】 3 Subgradients (Zen学习笔记)


3.2 The Max Formula

【First-order Methods】 3 Subgradients (Zen学习笔记)【First-order Methods】 3 Subgradients (Zen学习笔记)

这个Max Formula将次梯度与方向导数联系起来。

【First-order Methods】 3 Subgradients (Zen学习笔记)

【First-order Methods】 3 Subgradients (Zen学习笔记)

【First-order Methods】 3 Subgradients (Zen学习笔记)


3.3  Differentiability

 

 

 

 

 

 

相关文章: