Python线性最小二乘函数不起作用

Question

好的，所以我正在 python 中编写一个线性最小二乘函数，它几乎只是一个方程。然而由于某种原因，我得到了一个 ValueError。我最好的猜测是它与.reshape 函数有关，因为在这个问题中我有a very similar problem 并且重塑是解决方案。我已经阅读了它，从我收集的内容来看，我的函数中的 w 格式为 (n,)，结果将在 (n,1) 中，如我之前提到的问题中所示。我尝试重塑x_train 和y_train，但我只得到一个错误，我无法更改数组的大小。我猜我的参数设置错了。现在我迷路了，我还有更多这样的功能要完成——我希望我能理解我的代码中缺少什么。这个等式似乎是有序的，所以我想我每次都应该添加一些东西——可能是reshape 函数，因为我仍在使用与上一种情况相同的模型。我希望这是发布这个问题的正确地方，我不知道还能做什么，但我真的很想了解，所以我以后不会遇到这些问题，谢谢。

代码（np.代表numpy）：

def least_squares(x_train, y_train, M):
    '''
    :param x_train: training input vector  Nx1
    :param y_train: training output vector Nx1
    :param M: polynomial degree
    :return: tuple (w,err), where w are model parameters and err mean squared error of fitted polynomial
    '''
    w = np.linalg.inv(design_matrix(x_train, M). * design_matrix(x_train, M)) * design_matrix(x_train, M).T * y_train
    err = mean_squared_error(x_train, y_train, w)
    return (w, err)

design_matrix 和 mean_squared_error 工作正常。 追溯：

ERROR: test_least_squares_err (test.TestLeastSquares)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "\content.py", line 48, in least_squares
    w = np.linalg.inv(design_matrix(x_train, M).T * design_matrix(x_train, M)) * design_matrix(x_train, M).T * y_train
ValueError: operands could not be broadcast together with shapes (7,20) (20,7)

Answer 1

假设design_matrix返回一个矩阵，这段代码

design_matrix(x_train, M).T * design_matrix(x_train, M)

很可能不会做预期的事情，因为* 正在执行逐元素乘法（两个矩阵的 Hadamard 乘积）。因为你的矩阵不是正方形的，所以它抱怨形状不兼容。

要获得矩阵-矩阵乘积，可以这样做（假设 numpy 被导入为import numpy as np）：

np.dot(design_matrix(x_train, M).T, design_matrix(x_train, M))

类似的推理随后适用于声明的其余部分 * design_matrix(x_train, M).T * y_train...

此外，您可能只想评估一次 design_matrix，例如，放置类似

mat = design_matrix(x_train, M)

在计算w 的行之前，然后仅使用mat。