机器学习 【决策树ID3/C4.5/CART+随机森林】 公式推导计算+详细过程 （入门必备）

• 决策树可用于分类和预测。常见的决策树算法有ID3、C4.5和CART。
• 信息熵：不确定性的度量，事物越混乱就越不确定，信息熵越小越事物越确定。
• 信息增益：信息增益越大，事物的不确定性下降的越快，也就是说事物越趋近于确定，信息增益越大不确定性下降越快。
• 信息增益率：信息增益率越大，事物越确定。
• 基尼系数：不确定性的度量，事物越混乱就越不确定，基尼系数越小越事物越确定。

信息熵公式
$Entropy(D) = -\sum_{i=1} ^ m p_i log_{2}p_i$Entropy(D)=−i=1∑m​pi​log2​pi​
上式中$p_i$pi​为$i$i类样本所占比例。

• ID3:使用信息增益作为划分属性的依据。

信息增益公式
$Gain(D, A) = Entropy(D) - \sum_{i=1} ^ m \frac{D_m}{D} Entropy(D_m)$Gain(D,A)=Entropy(D)−i=1∑m​DDm​​Entropy(Dm​)

上式中$\frac{D_m}{D}$DDm​​为第m个划分节点的权重值。

• C4.5:使用信息增益率作为划分属性的依据。

信息增益率公式
$GainRatio(D, A) = \frac{Gain(D, A)}{Entropy(D)}$GainRatio(D,A)=Entropy(D)Gain(D,A)​

上式中
$Entropy(D) = - \sum_{i=1} ^ m \frac{|D_m|}{|D|} log_{2} \frac{|D_m|}{|D|}$Entropy(D)=−i=1∑m​∣D∣∣Dm​∣​log2​∣D∣∣Dm​∣​

• CART:使用基尼系数作为划分属性的依据。

基尼系数公式

推导：
$Entropy(D) = -\sum_{i=1} ^ m p_i log_{2}p_i$Entropy(D)=−i=1∑m​pi​log2​pi​

$= -\sum_{i=1} ^ m p_i (p_i - 1)$=−i=1∑m​pi​(pi​−1)

$= \sum_{i=1} ^ m p_i (1 - p_i)$=i=1∑m​pi​(1−pi​)

$= 1 - \sum_{i=1} ^ m p_i^{2}$=1−i=1∑m​pi2​

结果：

$Gain(D) = 1 - \sum_{i=1} ^ m p_i^{2}$Gain(D)=1−i=1∑m​pi2​

$Gain(D, A) = \sum_{i=1} ^ m \frac{D_m}{D} Gini(D_m)$Gain(D,A)=i=1∑m​DDm​​Gini(Dm​)

• 比较ID3、C4.5和CART的分类误差率
  

如上图所示，

• 红线与x轴组成的区域为标准分类误差率。

• 绿线与x轴组成的区域为基尼系数分类误差率。

• 蓝线与x轴组成的区域为信息熵分类误差率。

• bootstrap：自助采样法，即有放回采样。

• oob ：oob全称out of bag。随机森林在bootstrap时大约有37%的样本没有取到，而这未取到的样本就是oob。

• oob误差：用oob样本数据作为测试集时，计算得出的误差称为oob误差。

• bagging：是一种集成学习的方法，基于bootstrap的采样方式。通过并行的方式将多个基学习器组合成一个强学习器。
  [外链图片转存中…(img-lVXDR1MG-1593959645463)]

• 随机森林：由多颗决策树组成，可以用于分类和预测。随机森林有两个随机，分别是：样本随机和特征随机。

随机森林分类和回归的策略

分类：采用投票的方式，少数服从多数。每个树会投给某个类别，取所有树投票数最多的类别作为随机森林的输出。

回归：一般采用平均法。取所有决策树的均值作为随机森林的输出。

随机森林公式

普通平均法：
$G(x) = \frac{1}{m} \sum_{i=1} ^ m g_i(x)$G(x)=m1​i=1∑m​gi​(x)
上式中 $g_m(x)$gm​(x)为每个基学习器的值。

加权平均法：
$G(x) = \sum_{i=1} ^ m w_i g_i(x)$G(x)=i=1∑m​wi​gi​(x)
上式中 $w_i$wi​为每个基学习器的权重。