将 Pandas DataFrame 传递给 Scipy.optimize.curve_fit

Question

我想知道使用 Scipy 拟合 Pandas DataFrame 列的最佳方法。如果我有一个包含列（A、B、C、D 和Z_real）的数据表（Pandas DataFrame），其中 Z 取决于 A、B、C 和 D，我想拟合每个 DataFrame 行（系列）的函数，它对 Z 进行预测（Z_pred）。

要拟合的每个函数的签名是

func(series, param_1, param_2...)

其中 series 是对应 DataFrame 每一行的 Pandas Series。我使用 Pandas 系列，以便不同的功能可以使用不同的列组合。

我已经尝试将 DataFrame 传递给 scipy.optimize.curve_fit 使用

curve_fit(func, table, table.loc[:, 'Z_real'])

但由于某种原因，每个 func 实例都将整个数据表作为其第一个参数而不是每一行的 Series 传递。我也尝试将 DataFrame 转换为 Series 对象列表，但这会导致我的函数被传递一个 Numpy 数组（我认为是因为 Scipy 执行从 Series 列表到不保留 Pandas 的 Numpy 数组的转换系列对象）。

Answer 1

您对curve_fit 的呼叫不正确。来自the documentation：

xdata：一个长度为 M 的序列或一个 (k,M) 形的数组，用于具有 k 个预测变量的函数。

测量数据的自变量。

ydata : M-length 序列

依赖数据——名义上是 f(xdata, ...)

在这种情况下，您的自变量xdata 是A 到D 列，即table[['A', 'B', 'C', 'D']]，而您的因变量ydata 是table['Z_real']。

还要注意xdata应该是一个(k, M)数组，其中k是预测变量（即列）的数量，M 是观察数（即行）。因此，您应该转置输入数据帧，使其为 (4, M) 而不是 (M, 4)，即 table[['A', 'B', 'C', 'D']].T。

对curve_fit 的整个调用可能如下所示：

curve_fit(func, table[['A', 'B', 'C', 'D']].T, table['Z_real'])

---

这是一个显示多元线性回归的完整示例：

import numpy as np
import pandas as pd
from scipy.optimize import curve_fit

X = np.random.randn(100, 4)     # independent variables
m = np.random.randn(4)          # known coefficients
y = X.dot(m)                    # dependent variable

df = pd.DataFrame(np.hstack((X, y[:, None])),
                  columns=['A', 'B', 'C', 'D', 'Z_real'])

def func(X, *params):
    return np.hstack(params).dot(X)

popt, pcov = curve_fit(func, df[['A', 'B', 'C', 'D']].T, df['Z_real'],
                       p0=np.random.randn(4))

print(np.allclose(popt, m))
# True