机器学习基础：概率，发生比与Logit

概率是机器学习中最常见的概念，在分类算法(Classification)中经常出现，而Logit也是逻辑回归（Logistic Regression）中的重要概念，本文将总结概率（Probability），发生比（Odds）和Logit（log(odds)）之间的关系。

概率是指一个事件发生的可能性，假设一个袋子里有若干红球和蓝球，用P来表示概率，则：

$\vphantom{}\\P（抽到红球） = \frac{红球个数}{所有球个数}\\\vphantom{}$

发生比指一件事发生与其不发生的概率之比，同样以红球和篮球为例，用Odds来表示概率，则：

$\vphantom{}\\Odds(抽到红球) = \frac{P（抽到红球）}{1-P（抽到红球)}\\\vphantom{}$

Logit是给发生比取对数，即log(Odds)，其中log是自然对数，以红球篮球为例，其公式为：

$\vphantom{}\\Logit = log(\frac{P(抽到红球)}{1-P(抽到红球)})\\\vphantom{}$

概率与发生比的关系较为简单，概率是指事件发生的可能性，而发生比是指该事件发生与不发生的概率之比。但发生比与Logit的关系就并没有那么直观了，从公式上我们确实可以知道Logit就是log(发生比),但我们该如何理解这一定义呢？

通过下面的图表不难发现，概率与发生比有以下关系：

发生比的不对称性，时常会带来一些困扰，比如：

概率为0.3和0.7时，这两个概率的均值是0.5，他们是“对称”的；但这两个概率的发生比却分别是0.429和2.333,这使我们很难直观地感受到他们的对称关系。
当概率从0.1增加到0.2，时，发生比增加了0.139；当概率从0.8增加到0.9时，发生比却增加了5，虽然概率的增量相同，但发生比的增量却大大的不同。

而Logit就能有效地解决发生比带来的困惑：

概率为0.3和0.7时，Logit分别为-0.847和0.847，这两个值关于0对称,因此我们知道这两Logit值对应的发生比是对称的。
当概率从0.2减少至0.1时，Logit的增量是-0.811；当概率从0.8增加到0.9时，Logit的增量也是0.811，我们可以直观地感受到发生比增量也是对称的。
当发生比为1时，Logit为0；当发生比小于或大于1时，Logit取值范围为(-Inf,0)和(0,Inf).取值范围对称。

下表列出了当概率取不同值时，发生比和Logit之间的关系：

用图形表示，三者关系如下，其中x轴为概率，两条曲线分别为发生比和Logit，为了让图形更加好看，概率只取了[0.1,0.9]这一部分：

机器学习基础：概率，发生比与Logit

由于逻辑回归模型的需求，我们引入了发生比这一概念，但发生比本身的不对称性让我们难以直观地比较发生比，因此我们引入了Logit这一概念。Logit赋予了发生比更强的”对称“性，让我们更容易比较不同发生比之间的关系。