逻辑回归和softmax回归之间的区别答案

【问题标题】：Difference between logistic regression and softmax regression逻辑回归和softmax回归之间的区别
【发布时间】：2016-07-03 06:24:48
【问题描述】：

我知道逻辑回归适用于二元分类，softmax 回归适用于多类问题。如果我用相同的数据训练几个逻辑回归模型并将它们的结果归一化以获得多类分类器而不是使用一个 softmax 模型，会有什么不同吗？我假设结果是一样的。我能说：“所有的多类分类器都是二元分类器的级联结果”。（神经元网络除外）

【问题讨论】：

请注意，有一种标准方法可以使逻辑回归适应多类问题，例如解释在en.wikipedia.org/wiki/Multinomial_logistic_regression 有多种解释，其中一种提到了softmax。
非常感谢，真的很有帮助。
我已经在 stats.stackexchange.com 上写了an answer 。可能会有所帮助。

标签： algorithm machine-learning classification logistic-regression softmax

【解决方案1】：

与其他人已经传达的内容相呼应。

Softmax 回归是 Logistic 回归的概括，它将任意值的“k”维向量汇总为“k” 在 (0, 1) 范围内的值的维向量。
在逻辑回归中，我们假设标签是二进制的（0 或 1）。但是，Softmax Regression 允许处理类。
假设函数：
- LR：
- Softmax 回归：

参考：http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/

【讨论】：

【解决方案2】：

您可以将逻辑回归视为二元分类器，而 softmax 回归是实现多类分类器的一种方式（还有其他方式）。 softmax回归的输出层数等于你要预测的类数。

示例：在数字识别的情况下，您有 10 个类别要预测 [0-9]，因此您可以将其视为您对每个类别的输出 10 个概率进行建模的情况，实际上我们选择具有作为我们预测的类的最高概率。

从上面的例子可以看出，一个softmax函数的输出等于类的数量。这些输出确实等于每个类的概率，因此它们总和为 1。对于代数解释，请查看斯坦福大学网站，该网站对该主题有很好的简短解释。

链接：http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/

区别：在上面的链接中详细描述了只有 2 类的 softmax 与逻辑回归相同。因此可以说主要的区别只是命名约定。当我们处理 2 类问题时，我们将其称为逻辑回归，当我们处理跨国（超过 2 类）问题时，我们将其称为 softmax。

注意：值得记住的是，softmax 回归也可以用于神经网络等其他模型。

希望这会有所帮助。

【讨论】：

【解决方案3】：

当您将潜在模型输出对 (z1, z2) 转移到 z = z1-z2 并应用逻辑函数时，您可以将逻辑回归与二元 softmax 回归联系起来

softmax(z1, z2) = exp(z1)/(exp(z1) + exp(z2)) = exp(z1 - z2)/(exp(z1-z2) + exp(0)) = exp(z)/(exp(z) + 1)

【讨论】：

大概是在您将线性模型拟合为 softmax 的参数的情况下。这种转换可以通过 weights 来实现，您可以编写一个论坛来将一组权重转换为另一组权重，这样两种拟合方法对于二元分类器是“等效的”。

【解决方案4】：

多个逻辑回归模型和 softmax 输出存在细微差别。

基本上，您可以将大小为 d 的输入映射到单个输出 k 次，或者将大小为 d 的输入映射到 k 输出一次。然而，多重逻辑回归模型令人困惑，并且在实践中表现较差。这是因为大多数库（TensorFlow、Caffe、Theano）都是用低级编译语言实现的，并且经过高度优化。由于管理多个逻辑回归模型可能会在更高级别处理，因此应该避免。

【讨论】：