非凸优化器答案

【问题标题】：Non convex optimizer非凸优化器
【发布时间】：2016-06-16 11:45:21
【问题描述】：

我用的是python2.7，需要求一个多元标量函数的最大值。

也就是说我有这个功能：

def myFun(a,b,c,d,e,f):
    # complex calculation that takes about 30 seconds
    return res # res is a float

这个函数不是凸函数。

我为每个参数 a、b、c、d、e 和 f 指定最小和最大可能值。我需要找出哪些参数组合大约会导致myFun 的最大值。我会给它一个不错的起点。

我尝试进行暴力网格搜索，但考虑到我的函数需要多长时间来计算，它不可行。

我查看了 scipy 包。我特别看到了scipy.optimize.fmin_slsqp 函数。这适合我的问题吗？或者scipy.optimize.fmin()？有没有其他适合这个的功能/模块？

【问题讨论】：

要知道的一件重要的事情是你是否有好的衍生品。如果你有梯度，那么使用它们的求解器可能是个好主意。如果没有可用的导数，则需要研究无导数算法。您还想要全局解决方案还是局部优化器足够好？
本地优化器就足够了。我没有渐变，我的函数太复杂了，我无法在纸上数学推导出一些东西，更不用说实现它了。
我将从无衍生方法 Powell 和 Nelder-Mead 开始。如果您需要更多性能，请查看 Rios 和 Sahinidis 的 paper。免责声明：我不是无衍生方法方面的专家。
另一种用于高成本评估的无衍生方法是rbfopt

标签： python-2.7 optimization scipy

【解决方案1】：

您可能想尝试 CVXPY (http://www.cvxpy.org/en/latest)，奇怪的是，它是 CVXOPT（凸求解器）的非凸扩展。然后，您可以使用 CVXOPT 进行凸优化或使用 CVXPY 进行非凸优化，只要适合您的问题。

python 中有一堆非凸求解器，其中很多都列在这里：https://scicomp.stackexchange.com/questions/83/is-there-a-high-quality-nonlinear-programming-solver-for-python... 但您似乎实际上是在问一个连续求解器，它可能是局部的或全局的，并且可以处理昂贵的功能。

我个人建议mystic (https://pypi.python.org/pypi/mystic)。没错，我是作者，但它已经获得了大约十年的体面资助，它可以解决其他软件包无法解决的高度约束的非凸问题。它还可以从根本上处理具有非线性约束的凸优化。此外，mystic 专为大规模并行计算而构建，因此您可以轻松地在多个级别的优化中利用并行计算。如果你有足够的资源，mystic 可以做一个集成优化，你可以想象它可以做一个网格搜索（在那里你可以选择点的初始分布），而不是在网格上使用固定点，@ 987654331@ 使用并行启动的快速线性求解器。

这是mystic 附带的近 100 个示例之一：

'''
    Maximize: f = 2*x[0]*x[1] + 2*x[0] - x[0]**2 - 2*x[1]**2

    Subject to:    x[0]**3 - x[1] == 0
                             x[1] >= 1
'''

提供了两种解决方案（一种用于线性求解器，一种用于全局求解器）：

def objective(x):
    return 2*x[0]*x[1] + 2*x[0] - x[0]**2 - 2*x[1]**2

equations = """
x0**3 - x1 == 0.0
"""
bounds = [(None, None),(1.0, None)]

# with penalty='penalty' applied, solution is:
xs = [1,1]; ys = -1.0

from mystic.symbolic import generate_conditions, generate_penalty
pf = generate_penalty(generate_conditions(equations), k=1e4)
from mystic.symbolic import generate_constraint, generate_solvers, solve
cf = generate_constraint(generate_solvers(solve(equations)))

# inverted objective, used in solving for the maximum
_objective = lambda x: -objective(x)


if __name__ == '__main__':

  from mystic.solvers import diffev2, fmin_powell
  from mystic.math import almostEqual

  result = diffev2(_objective, x0=bounds, bounds=bounds, constraint=cf, penalty=pf, npop=40, ftol=1e-8, gtol=100, disp=False, full_output=True)
  assert almostEqual(result[0], xs, rel=2e-2)
  assert almostEqual(result[1], ys, rel=2e-2)

  result = fmin_powell(_objective, x0=[-1.0,1.0], bounds=bounds, constraint=cf, penalty=pf, disp=False, full_output=True)
  assert almostEqual(result[0], xs, rel=2e-2)
  assert almostEqual(result[1], ys, rel=2e-2)

这是另一个：

"""
    Fit linear and quadratic polynomial to noisy data:
               y(x) ~ a + b * x   --or--   y(x) ~ a + b * x + c * x**2
    where:
               0 >= x >= 4
               y(x) = y0(x) + yn
               y0(x) = 1.5 * exp(-0.2 * x) + 0.3
               yn = 0.1 * Normal(0,1)
"""

有解决方案：

from numpy import polyfit, poly1d, linspace, exp
from numpy.random import normal
from mystic.math import polyeval
from mystic import reduced

# Create clean data.
x = linspace(0, 4.0, 100)
y0 = 1.5 * exp(-0.2 * x) + 0.3

# Add a bit of noise.
noise = 0.1 * normal(size=100) 
y = y0 + noise

@reduced(lambda x,y: abs(x)+abs(y))
def objective(coeffs, x, y):
    return polyeval(coeffs, x) - y

bounds = [(None, None), (None, None), (None, None)]
args = (x, y)

# 'solution' is:
xs = polyfit(x, y, 2) 
ys = objective(xs, x, y)


if __name__ == '__main__':

  from mystic.solvers import diffev2, fmin_powell
  from mystic.math import almostEqual

  result = diffev2(objective, args=args, x0=bounds, bounds=bounds, npop=40, ftol=1e-8, gtol=100, disp=False, full_output=True)
  assert almostEqual(result[0], xs, tol=1e-1)
  assert almostEqual(result[1], ys, rel=1e-1)

  result = fmin_powell(objective, args=args, x0=[0.0,0.0,0.0], bounds=bounds, disp=False, full_output=True)
  assert almostEqual(result[0], xs, tol=1e-1)
  assert almostEqual(result[1], ys, rel=1e-1)

对于并行计算，mystic 可以利用pathos 和pyina（请参阅：https://github.com/uqfoundation），您只需传递要用于并行运行的映射函数的分层配置。这很容易。对于库存问题，它可能不是最快的，但（在我看来）它是（在我看来）您无法解决的问题（由于规模或复杂性）的最佳选择。

【讨论】：

我没有意识到这是可能的，CVXPY 网站上似乎也没有提到它。那么，是否有可能在 CVXPY 框架中使用 IPOPT 或 SNOPT 来解决非凸问题？
@indigoblue：上面的代码来自mystic 而不是CVXPY。
@MikeMcKerns：我对使用 mystic 很感兴趣，但是我找不到示例 README 中提到的教程（上面写着“带有前缀“example”的示例是教程的一部分”）。
教程中的示例在这里：github.com/uqfoundation/mystic/tree/master/examples（教程本身位于旧网站上，仍然可以访问但没有必要）。更新的教程在这里：github.com/mmckerns/tlkmys 和 github.com/mmckerns/tutmom;

【解决方案2】：

我最近不得不执行非凸优化。我使用了L-BFGS method from scipy.optimize。它对我的目的来说已经足够好了。您可以在here 找到更多关于选择与您的目的相关的优化器的信息。 scipy.optimize 中的 L-BFGS 函数也可以为您近似梯度，因为您的函数太复杂而无法找到梯度。

【讨论】：