OLS 适合带有系数误差和转换目标的 python

Question

似乎有两种方法可以让 OLS 适合 Python。 Sklearn 一和 Statsmodel 一。我偏爱 statsmodel 之一，因为它通过 summary() 函数给出了系数的误差。但是，我想使用 sklearn 中的 TransformedTargetRegressor 来记录我的目标。似乎我需要在 statsmodel 中的拟合系数误差和能够在 statsmodel 中转换我的目标之间做出选择。有没有一种好方法可以在任一系统中同时完成这两项工作？

在统计模型中会这样完成

import statsmodels.api as sm
X = sm.add_constant(X)
ols = sm.OLS(y, X)
ols_result = ols.fit()
print(ols_result.summary())

返回拟合系数及其误差

对于 Sklearn，您可以使用 TransformedTargetRegressor

from sklearn.compose import TransformedTargetRegressor
from sklearn.linear_model import LinearRegression
regr = TransformedTargetRegressor(regressor=LinearRegression(),func=np.log1p, inverse_func=np.expm1)
regr.fit(X, y)
print('Coefficients: \n', regr.coef_)

但是如果不自己计算系数，就无法获得系数的误差。有没有两全其美的好方法？

编辑

我在这里找到了我关心的特殊情况的一个很好的例子

https://web.archive.org/web/20160322085813/http://www.ats.ucla.edu/stat/mult_pkg/faq/general/log_transformed_regression.htm

Answer 1

只是在这里添加一个冗长的评论，我相信TransformedTargetRegressor 不会做你认为它做的事情。据我所知，逆变换功能仅在调用predict 方法时应用。它不以未转换结果为单位表示系数。

示例：

import pandas as pd
import statsmodels.api as sm

from sklearn.compose import TransformedTargetRegressor
from sklearn.linear_model import LinearRegression
import numpy as np
from sklearn import datasets

创建一些示例数据：

df = pd.DataFrame(datasets.load_iris().data)
df.columns = datasets.load_iris().feature_names

X = df.loc[:,['sepal length (cm)', 'sepal width (cm)']]
y = df.loc[:, 'petal width (cm)']

Sklearn 第一：

regr = TransformedTargetRegressor(regressor=LinearRegression(),func=np.log1p, inverse_func=np.expm1)
regr.fit(X, y)

print(regr.regressor_.intercept_)
for coef in regr.regressor_.coef_:
    print(coef)
#-0.45867804195769357
# 0.3567583897503805
# -0.2962942997303887

关于转换结果的统计模型：

X = sm.add_constant(X)
ols_trans = sm.OLS(np.log1p(y), X).fit()
print(ols_trans.params)

#const               -0.458678
#sepal length (cm)    0.356758
#sepal width (cm)    -0.296294
#dtype: float64

您会看到，在这两种情况下，系数是相同的。也就是说，使用带有TransformedTargetRegressor 的回归产生与带有转换结果的statsmodels.OLS 相同的系数。 TransformedTargetRegressor 不会将系数反向转换为原始未转换空间。请注意，除非变换本身是线性的，否则系数在原始空间中将是非线性的，在这种情况下，这是微不足道的（与常数相加和相乘）。 This discussion 这里指向一个类似的方向 - 在大多数/许多情况下，反向转换 beta 是不可行的。

该怎么做？

如果解释是您的目标，我相信最接近您希望达到的目标是使用预测值，您可以改变回归量或系数。因此，让我举个例子：如果您的目标是说明sepal length 的一个标准误差较高对未转换结果的影响，您可以创建拟合的预测值以及 1- sigma 场景（通过系数回火，或通过 X 中的相应列回火）。

示例：

# Toy example to add one sigma to sepal length coefficient
coeffs = ols_trans.params.copy()
coeffs['sepal length (cm)'] +=  0.018 # this is one sigma


# function to predict and translate predictions back:
def get_predicted_backtransformed(coeffs, data, inv_func):
    return inv_func(data.dot(coeffs))

# get standard predicted values, backtransformed:
original = get_predicted_backtransformed(ols_trans.params, X, np.expm1)
# get counterfactual predicted values, backtransformed:
variant1 = get_predicted_backtransformed(coeffs, X, np.expm1)

然后你可以说例如关于未转换结果的均值偏移：

variant1.mean()-original.mean()
#0.2523083548367202

Answer 2

简而言之，Scikit learn 无法帮助您计算系数标准误。但是，如果您选择使用它，您可以自己计算错误。在问题Python scikit learn Linear Model Parameter Standard Error@grisaitis 中提供了一个很好的答案，解释了它背后的主要概念。

如果您只想使用可与 sciait-learn 配合使用的即插即用功能，您可以使用：

def get_coef_std_errors(reg: 'sklearn.linear_model.LinearRegression',
                        y_true: 'np.ndarray', X: 'np.ndarray'):
    """Function that calculates the standard deviation of the coefficients of 
    a linear regression. 

    Parameters
    ----------
    reg : sklearn.linear_model.LinearRegression
        LinearRegression object which has been fitted 
    y_true : np.ndarray
        array containing the target variable
    X : np.ndarray
        array containing the features used in the regression

    Returns
    -------
    beta_std
        Standard deviation of the regression coefficients 
    """
    y_pred = reg.predict(X) # get predictions
    errors = y_true - y_pred # calculate residuals
    sigma_sq_hat = np.var(errors) # calculate residuals std error

    sigma_beta_hat = sigma_sq_hat * np.linalg.inv(X.T @ X)
    
    return np.sqrt(np.diagonal(sigma_beta_hat)) # diagonal to recover variances