为什么逻辑回归称为回归？ [关闭]答案

【问题标题】：Why is logistic regression called regression? [closed]为什么逻辑回归称为回归？ [关闭]
【发布时间】：2015-08-10 12:23:20
【问题描述】：

根据我的理解，线性回归预测可以具有连续值的结果，而逻辑回归预测结果是离散的。在我看来，逻辑回归类似于分类问题。那么，为什么叫回归呢？

【问题讨论】：

logistic regression 实际上是一种分类策略。所以它的名字可能会令人困惑。为什么将其称为逻辑“回归”？好问题 - 也许是因为从统计角度来看，它只是一个广义线性模型，可以预测 0 和 1 之间的连续值，可以解释为 probabilities。
我投票结束这个问题，因为它与编程无关。此类问题有Stats SE。
如果这个问题是题外话，那么stackoverflow.com/questions/12146914/… 不是题外话吗？这个网站上有很多关于 python 库执行逻辑回归的问题，因为很难将实现问题与这样的理论问题分开。

【解决方案1】：

线性回归和逻辑回归之间有严格的联系。

使用线性回归，您正在寻找 k_i 参数：

h = k₀ + Σ k_i &dot; X_i = K^t &dot; X

使用逻辑回归，您的目标相同，但方程式是：

h = g(K^t &dot; X)

g(w) = 1 / (1 + e^-w)

所以：

h = 1 / (1 + e^{-K^t &dot; X})

您需要将 K 拟合到您的数据中。

假设一个二元分类问题，输出h是样本x在分类任务中是正匹配的估计概率：

P(Y = 1) = 1 / (1 + e^{-K^t &dot;X})

当概率大于 0.5 时，我们可以预测“匹配”。

概率大于0.5时：

g(w) > 0.5

这在以下情况下是正确的：

w = K^t &dot; X≥0

超平面：

K^t &dot; X = 0

是决策边界。

总结：

这是一个非常精简的版本。您可以在these videos（Andrew Ng 的机器学习第三周）中找到简单的解释。

【讨论】：

【解决方案2】：

逻辑回归属于监督学习的范畴。它通过使用逻辑/S形函数估计概率来衡量分类因变量与一个或多个自变量之间的关系。逻辑回归有点类似于线性回归，或者我们可以将其视为广义线性模型。在线性回归中，我们根据输入变量的加权和来预测输出 y。

y=c+ x1*w1 + x2*w2 + x3*w3 + .....+ xn*wn

线性回归的主要目的是估计 c,w1,w2,...,wn 的值并最小化成本函数并预测 y。

逻辑回归也做同样的事情，但增加了一个。它将结果通过称为逻辑/sigmoid 函数的特殊函数传递以产生输出 y。

y=逻辑(c + x1*w1 + x2*w2 + x3*w3 + ....+ xn*wn)

y=1/1+e[-(c + x1*w1 + x2*w2 + x3*w3 + ....+ xn*wn)]

【讨论】：

【解决方案3】：

如前所述，逻辑回归是一种广义线性模型，使用与线性回归相同的基本公式，但它是针对分类结果的概率进行回归。

如您所见，对于线性回归和逻辑回归，我们得到了相似类型的方程。差异实际上在于线性回归为给定的 x 给出连续的 y 值，其中逻辑回归还为给定的 x 给出 p(y=1) 的连续值，稍后根据阈值 (0.5) 转换为 y=0 或 y=1 )。

【讨论】：