非凸优化入门

广义上来讲,如果一个优化问题的目标函数是凸函数且可行域是凸集,那么它就是一个凸优化问题。反过来讲,如果不满足两个条件中任意的一个,即目标函数非凸或者可行域非凸,那么它就是一个非凸优化问题。

解:

  • 局部极小点: $\nabla f(x) = 0 & \nabla ^{2} f(x) > 0$

  • KKT点

  • 一阶驻点(First-order stationary point, FOSP),或者说关键点(Critical point):$\nabla f(x) = 0$。

  • 二阶驻点(Second-order stationary point, SOSP):$\nabla f(x) = 0 & \nabla ^{2} f(x) \geq 0$。二阶驻点一定是局部极小点,但比局部极小点更好一些。

    not just local minima; as good as global minima.

    对于部分优化问题而言,二阶驻点即为全局极小点,如矩阵分解问题。

算法:

  • Perturbed push-sum algorithm
  • Successive convex approximation

[1] Understanding Non-convex Optimization

Powered by Hexo | Theme Hiker

Copyright © 2019 - 2021 Jingwang Li

UV : | PV :