机器学习公式推导【Day2】ROC与AUC

AUC-ROC曲线下的面积——比较学习器性能

• 1. ROC——受试者工作特征
• 2. AUC——ROC曲线下的面积

（本文为个人学习总结笔记）

1. ROC——受试者工作特征

ROC曲线的横轴是"真正例率"（TPR），横轴是"假正例率"（FPR）。
定义如下：
$\begin{aligned} &\mathrm{TPR}=\frac{T P}{T P+F N}\\ &\mathrm{FPR}=\frac{F P}{T N+F P} \end{aligned}$​TPR=TP+FNTP​FPR=TN+FPFP​​
显示 ROC 曲线的图称为 “ROC 图”，如下给出了一个示意图，显然对角线对应于 “随机猜测” 模型，而点（0，1）对应于将所有正例排在所有反例之前的"理想模型"

（图片来源于周志华《机器学习》）

2. AUC——ROC曲线下的面积

如上图（b），ROC曲线是由坐标为$\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{m}, y_{m}\right)\right\}${(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}的点按序连接而成，$\left(x_{1}=0, x_{m}=1\right)$(x1​=0,xm​=1)，具体如下表示：

$A U C=\frac{1}{2} \sum_{i=1}^{m-1}\left(x_{i+1}-x_{i}\right) \cdot\left(y_{i}+y_{i+1}\right)$AUC=21​i=1∑m−1​(xi+1​−xi​)⋅(yi​+yi+1​)

当没有预测值相同的样例时，若采取按固定梯度改变分类阈值，也会出现一下划分新增两个甚至多个正例的情形，但是此种阈值选取方案画出的ROC曲线AUC值更小，不建议使用，此时ROC曲线中便会出现斜线，而不再是只有横平竖直的折线。
其实本公式直接可理解为梯形求面积公式即可。