【问题标题】:Approximating an unknown value in Python在 Python 中逼近一个未知值
【发布时间】:2017-09-18 08:43:20
【问题描述】:

我需要近似一个未知值,一个将发散值与收敛值分开的界限。

我正在尝试这样做:

# dont worry about the value of i, its one of many bounds checks
bounds = 1.0
for j in range(niters):
    if does_converge(i, bound):
        bound += bound / 2.0
    else:
        bound /= 2.0

我一直在寻找更好的近似算法,但他们似乎都认为我对函数有所了解,但我不知道。我得到的只是一个黑盒子,它告诉我一个值是否发散。

任何想法都将不胜感激!

编辑:我不能肯定地说,但假设函数是连续的,我会很好,收敛的边界很可能在 0 和 1 之间。

【问题讨论】:

  • 没有任何假设这是无法解决的。 Intro.
  • 我猜对了。该函数可能是连续的并且“表现良好”。
  • 你的问题我不清楚。这段代码在哪里失败?你希望它做什么?它现在在做什么?输入看起来如何?换句话说:帮助我们帮助你;)
  • 设置目标函数并使用优化从 scipy docs.scipy.org/doc/scipy/reference/optimize.html开始
  • @sascha 也许你是对的,但我在问题中没有看到任何表明与正则化有任何关系的内容。

标签: python algorithm optimization mathematical-optimization numerical-methods


【解决方案1】:

有了给定的信息,没有什么比某种形式的二进制搜索更好的了。

编辑:请参阅此答案末尾的编辑/备注以获得更好的解决方案(尽管没有严格的理论解释)!

这可以使用 scipy 的minimize_scalar 来实现。使用method: golden很重要!

方法 Golden 使用黄金分割搜索技术。它使用二分法的模拟来减小括号内的间隔。

问题在于没有任何实值答案。只有 yes/no 不允许形成任何类型的梯度信息或代理模型。

我假设:

  • 我们正在寻找黑盒返回 1 的最小值
  • 黑盒是确定性的

想法: 构建一些包装函数,该函数在返回 1 的最小值处具有最小值。

由于 x 应该在 [0,1] 中,试图最小化 x,我们可以将包装函数表示为:x + 1 - black_box(x)。每个答案为 0 的解决方案都 >= 每个答案为 1 的解决方案(可能在边界处需要一些保护措施;例如,x + (1 - eps) - black_box(x) eps 非常小!;可能需要在选择 xtol 时牢记)。

代码:

from scipy import optimize

SECRET_VAL = 0.7

def black_box(x):
    if x > SECRET_VAL:
        return 1.
    else:
        return 0.

def wrapper(x):
    return x + 1 - black_box(x)

res = optimize.minimize_scalar(wrapper, bracket=(0,1), method='golden')

print(res)

输出:

     fun: 0.7000000042155881
    nfev: 44
     nit: 39
 success: True
       x: 0.7000000042155881

或者secret_val=0.04:

     fun: 0.04000000033008555
    nfev: 50
     nit: 45
 success: True
       x: 0.040000000330085564

或者如果你知道你需要什么样的准确度(原始秘密 0.7):

res = optimize.minimize_scalar(wrapper, bracket=(0,1), method='golden',
                            options={'xtol': 1e-2})

输出:

     fun: 0.7000733152965655
    nfev: 16                 !!!!!
     nit: 11
 success: True
       x: 0.7000733152965655

备注:

在这里编写一个基于二进制搜索的定制解决方案可能会更好(不是 100% 肯定)。但是考虑到缺少单峰性等假设,需要小心。

编辑: 好的……我终于把这个minimization-problem转化为求根问题,可以更高效地解决!

警告: 很明显,wrapper 永远不会返回 0.0 的值(找不到确切的根)!

但是二分法是关于zero crossing within the new intervalwiki

所以在这里它找到了两个点a, b,其中函数的符号正在发生变化,并将其解释为一个根(考虑到一些容忍度!)。

与前一种方法相比,这种分析不如前一种方法那么严格(给出的分析不多,但在 scipy 的文档中使用纯最小化方法更容易做到)。

def wrapper_bisect(x):
    return 1 - 2*black_box(x)

res = optimize.bisect(wrapper_bisect, 0, 1, xtol=1e-2, full_output=True)
print(res)

输出:

(0.6953125,       converged: True
           flag: 'converged'
 function_calls: 9
     iterations: 7
           root: 0.6953125)

考虑到上述假设(并且只有这些假设),这应该是理论上的最优算法(我们将函数评估的数量从 16 个减少到 9 个;优化目标更差,但在界限)!

最后一次测试:

secret: 0.9813; xtol: 1e-4:

金色:

    fun: 0.9813254238281632
    nfev: 25
     nit: 20
 success: True
       x: 0.9813254238291631

二等分:

(0.98126220703125,       converged: True
           flag: 'converged'
 function_calls: 16
     iterations: 14
           root: 0.98126220703125)

【讨论】:

  • 这看起来很棒 - 我在 Python 3.6 Windows 10 x64 上安装 Scipy 时遇到问题。我会告诉你什么时候/如果我可以在不将我的项目移植到 linux 的情况下测试它。
  • 这里有很多 scipy + windows 问题,我推荐anaconda-distribution(这是少数无痛方法之一)。
  • 我在玩弄这个排列,但似乎总是得到:RuntimeError: Too many iterations。
  • 这是一个不好的迹象。也许我们的假设之一是错误的!可悲的是我无法测试这个。增加迭代次数或减少 xtol(并使用我编辑的更好版本)。
  • 是的,这很好用。不得不敲定一个新的黑匣子功能,但这一切都有效。谢谢!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2021-01-24
  • 2018-02-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-06-15
  • 2018-04-25
相关资源
最近更新 更多