信息熵和Gini指数的关系

原文地址：https://www.jianshu.com/p/75518e6a5c64

熵的概念中有信息熵、信息增益、信息增益比、基尼指数，这些统统作为决策树分裂的依据，其中，我们需要知道信息熵与基尼指数的关系。

信息熵与基尼指数的关系

1. 首先看二者的定义：

   
   
    

   

    
   
   

   将 f(x) = −lnx 在 x = 1 处进行一阶泰勒展开（忽略高阶无穷小）：

   
   
    

   

    
   
   因此，熵可近似转化为：
   
    

   

    
   
   
    

   

    
   
   

   基尼指数是信息熵中﹣logP 在P = 1处一阶泰勒展开后的结果！所以两者都可以用来度量数据集的纯度，用于描述决策树节点的纯度！

作者：0过把火0
链接：https://www.jianshu.com/p/75518e6a5c64
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。