具有大量数字的最小二乘优化

Question

我有以下功能，我需要使用最小二乘法来最小化（我正在使用 lmfit）。

y = a * exp(-x/b) + c

我有例如以下数据：

profitlist = [-10000, 100.00, 1000.00, 100000.00, 1000000.00]
utilitylist = [0, 0.2, 0.4, 0.6, 1]

应用返回以下错误：

ValueError: NaN values detected in your input data or the output of your objective/model function - fitting algorithms cannot handle this! Please read https://lmfit.github.io/lmfit-py/faq.html#i-get-errors-from-nan-in-my-fit-what-can-i-do for more information.

问题似乎是：如果 ProfitList 包含任何更大的负数 ( -1000 有效，-100000 无效）。所以它可能会溢出。

profitList 中的值可以是非常大的浮点数，而且它们并不总是相同的。那么如何用这些巨大的数字来优化它呢？似乎 lmfit 不支持可以解决问题的十进制数字......我该怎么做才能让它工作？

class LeastSquares:
def __init__(self, profitList, utilityList):
    self.profitList = np.asarray(profitList)
    self.utilityList = np.asanyarray(utilityList)

def function(self, params, x):
    a = params["a"]
    b = params["b"]
    c = params["c"]

    return a * np.exp(-x/b) + c

def residual(self, params, x, y):
    return (y - self.function(params, x))**2

def setParameters(self, a_start, b_start, c_start):
    parameters = Parameters()
    parameters.add(name="a", value=a_start, min=None, max=0, vary=True)
    parameters.add(name="b", value=b_start, vary=True, min=0.1, max=None)
    parameters.add(name="c", value=c_start, vary=True)
    return parameters 

def startOptimalization(self):
    parameters = self.setParameters(-1, 1, 1)    
    result = minimize(self.residual, parameters, args=(self.profitList, self.utilityList), method="leastsq")
    result.params.pretty_print()

    print(fit_report(result))
    print("SSE")
    print(np.sum(result.residual))

Answer 1

如您所见，numpy.exp(arg) 为任何大于 ~709 的参数提供 Infinity，您需要避免此类极端值。底层求解器根本无法解决它们。由于您对arg 的论点是-x/b，因此您需要确保b 不会小到将论点炸毁到numpy.exp()。

事实上，您的代码显示您确实在 b 上设置了 0.1 的下限。
但是随着 profitlist 的值扩展到 1e7，该下限太小而无法阻止 Infinity - 您对 b 的下限必须在 14,000 左右。

如果您的 profitlist 值在每次优化运行时都发生变化，您可能需要执行以下操作（在您的 startOptimization 中）：

   parameters = self.setParameters(-1, 1, 1)    
   parameters['b'].min = max(abs(self.profitList))/700.0
   result = minimize(self.residual, parameters, args=(self.profitList, self.utilityList), method="leastsq")
   result.params.pretty_print()

此外，在拟合指数变化时，计算指数模型函数通常很有帮助，然后将残差作为数据的对数和模型的对数，有效地在对数空间中进行拟合，因为可能会绘制数据。

最后，不要自己取平方或差的平方和，只需返回带有符号的残差数组。也就是说，你可能会更好地使用类似的东西：

def residual(self, params, x, y):
    return np.log(y) - np.log(self.function(params, x))