带有正则化的 Numpy 线性回归

Question

我没有看到我的正则化线性回归代码有什么问题。 Unregularized 我有这个，我有理由确定这是正确的：

import numpy as np

def get_model(features, labels):
    return np.linalg.pinv(features).dot(labels)

这是我的正则化解决方案代码，我看不到它有什么问题：

def get_model(features, labels, lamb=0.0):
    n_cols = features.shape[1]
    return linalg.inv(features.transpose().dot(features) + lamb * np.identity(n_cols))\
            .dot(features.transpose()).dot(labels)

lamb 的默认值为 0.0，我的意图是它应该给出与（正确的）非正则化版本相同的结果，但实际上差异很大。

有人知道问题出在哪里吗？

Answer 1

问题是：

features.transpose().dot(features) 可能不可逆。根据文档，numpy.linalg.inv 仅适用于全秩矩阵。然而，一个（非零）正则化项总是使方程非奇异。

顺便说一句，您对实施的看法是正确的。但效率不高。求解该方程的一种有效方法是最小二乘法。

np.linalg.lstsq(features, labels) 可以为np.linalg.pinv(features).dot(labels) 工作。

一般来说，你可以这样做

def get_model(A, y, lamb=0):
    n_col = A.shape[1]
    return np.linalg.lstsq(A.T.dot(A) + lamb * np.identity(n_col), A.T.dot(y))