将 SciPy 优化应用于拟合的 sci-kit 模型答案

【问题标题】：Applying SciPy optimization to a fitted sci-kit model将 SciPy 优化应用于拟合的 sci-kit 模型
【发布时间】：2020-04-25 04:06:17
【问题描述】：

最近我遇到了一个问题，我认为 SciPy 可能是一个很好的解决方案。但是，我无法正确应用它。不确定我是否遗漏了什么，或者我正在寻找的东西实际上根本不可能。

这是我制作的一个虚构示例，目的是让事情更清晰、更易于可视化。我的情况要复杂得多。

from sklearn.model_selection import train_test_split 
from sklearn.svm import SVR
from scipy.optimize import minimize
import numpy as np
import pandas as pd

time_studied = [12, 10, 4, 7, 6, 11, 6]
hours_slept = [8, 7, 1, 3, 8, 6, 5]
grade = [10, 9, 2, 5, 7, 8, 8.5, 6]

X = np.array([time_studied, hours_slept]).T
y = np.array([grade]).T 
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)    
model = SVR(kernel='poly', C=100, gamma='auto', degree=3, epsilon=.1, coef0=1)
model.fit(X,y)

然后，我尝试对该函数应用优化器，以找到睡眠和学习之间的最佳平衡。由于经过测试的回归方法返回一个函数，所以我想可以应用 SciPy 最小化。但是，当我尝试应用它时，像这样

bnds = [(0,12), (0,8)]
x0 = [0,0]
residual_plant = minimize(model, x0, method='SLSQP',bounds=bnds,options = {'eps': np.radians(5.0)})

我收到以下错误

TypeError: 'SVR' object is not callable

因此，显然可以直接从我的模型中调用优化器。因此，我的问题来了，如何访问适合我的数据的函数并能够找到最佳的睡眠时间+学习时间 x 等级（在这种情况下，很明显是预期的结果）

我错过了什么吗？有没有可能做我的目标？

【问题讨论】：

我不知道最小化到底是做什么的。但是仅仅检查文档就发现它期望一个函数被优化。这里不是一个函数，而是一个 SVR 类的实例。

标签： python machine-learning optimization scipy regression

【解决方案1】：

试试这个：

residual_plant = minimize(lambda x: model.predict(np.array([x])), x0, method='SLSQP',bounds=bnds,options = {'eps': np.radians(5.0)})

SciPy 的 minimize 的第一个参数不只是 model.predict，因为 SciPy 尝试将一维数组传递给它的目标函数，但 model.predict 需要一个二维数组。

（顺便说一句，在您的虚拟模型的训练设置中，y 是X 的第二列，而列表grades 从未使用过。我怀疑y 应该是@987654331 @. 因为那不是你的真实模型，所以这可能并不重要。）

predict 方法的参考文档：https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html?highlight=svr#sklearn.svm.SVR.predict

predict 方法的示例用法可以在这里找到：https://scikit-learn.org/stable/auto_examples/svm/plot_svm_regression.html#sphx-glr-auto-examples-svm-plot-svm-regression-py

【讨论】：

您的更正完全正确。刚刚修好了。