scikit 如何学习逻辑回归以进行分类或回归

Question

我认为逻辑回归可以用于回归（获取 0 和 1 之间的数字，例如使用逻辑回归来预测 0 和 1 之间的概率）和分类。问题是，似乎在我们提供了训练数据和目标之后，逻辑回归可以自动判断我们是在做回归还是在做分类？

例如，在下面的示例代码中，逻辑回归发现我们只需要输出为0, 1, 2 的三个类别之一，而不是0 和2 之间的任何数字？只是好奇逻辑回归如何自动判断它是在做回归（输出是连续范围）还是分类（输出是离散）问题？

http://scikit-learn.org/stable/auto_examples/linear_model/plot_iris_logistic.html

print(__doc__)


# Code source: Gaël Varoquaux
# Modified for documentation by Jaques Grobler
# License: BSD 3 clause

import numpy as np
import matplotlib.pyplot as plt
from sklearn import linear_model, datasets

# import some data to play with
iris = datasets.load_iris()
X = iris.data[:, :2]  # we only take the first two features.
Y = iris.target

h = .02  # step size in the mesh

logreg = linear_model.LogisticRegression(C=1e5)

# we create an instance of Neighbours Classifier and fit the data.
logreg.fit(X, Y)

# Plot the decision boundary. For that, we will assign a color to each
# point in the mesh [x_min, m_max]x[y_min, y_max].
x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5
y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
Z = logreg.predict(np.c_[xx.ravel(), yy.ravel()])

# Put the result into a color plot
Z = Z.reshape(xx.shape)
plt.figure(1, figsize=(4, 3))
plt.pcolormesh(xx, yy, Z, cmap=plt.cm.Paired)

# Plot also the training points
plt.scatter(X[:, 0], X[:, 1], c=Y, edgecolors='k', cmap=plt.cm.Paired)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')

plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.xticks(())
plt.yticks(())

plt.show()

Answer 1

逻辑回归通常使用交叉熵成本函数，该函数根据二元误差对损失进行建模。此外，逻辑回归的输出通常在决策边界处遵循 sigmoid，这意味着虽然决策边界可能是线性的，但输出（通常被视为代表边界任一侧两个类别之一的点的概率）转换以非线性方式。这将使您的回归模型从 0 到 1 成为一个非常特殊的非线性函数。在某些情况下这可能是可取的，但通常可能并不可取。

您可以将逻辑回归视为提供表示是否属于某个类别的概率的幅度。如果您考虑具有两个自变量的二元分类器，您可以描绘一个表面，其中决策边界是概率为 0.5 的拓扑线。在分类器确定类的情况下，表面要么在高原上（概率 = 1），要么在低洼区域（概率 = 0）。从低概率区域到高概率区域的转换通常遵循 sigmoid 函数。

您可以查看 Andrew Ng 的 Coursera 课程，该课程有一组关于逻辑回归的课程。 This 是类中的第一个。我有一个 github 存储库，它是该类输出的 R 版本，here，您可能会发现它有助于更​​好地理解逻辑回归。