评估指标根据任务类型分类:分类指标回归指标聚类指标排序指标等。

一、分类指标

二分类的混淆矩阵:
评估指标

TP (真正,True Positive):表示真实结果为正例,预测结果也是正例;

FP (假正,FalsePositive ):表示真实结果为负例,预测结果却是正例;

TN (真负, True Negative ):表示真实结果为正例,预测结果却是负例;

FN (假负,False Negative ):表示真实结果为负例,预测结果也是负例。

TP+FP + FN+ TN=样本总数。

精确率召回率F1值的定义公式:

                                               评估指标

                                               评估指标 

                                             评估指标 

注:1)理想情况下,精确率和召回率两者都越高越好。事实上精确率和召回率在某些情况下是矛盾的精确率高时,召回率低;而精确率低时,召回率高;在不同场合需要根据实际需求判断哪个指标更重要。比如在推荐产品时,如果推荐最相关的那一个产品,那精确率就将近100%,而召回率就很低;如果将全部产品都推荐给用户,那召回率接近100%,而精确率就很低。

       2)P-R曲线:召回率R为横轴、精确率P为纵轴。P-R曲线越靠近右上角性能越好,曲线下的面积叫AP分数( Average Precision Score,平均精确率分数)。不同模型的AP分数,在一定程度上反映模型的精确率和召回率都高的比例。

                                                         评估指标

       3)F1值是精确率和召回率的调和平均值。F值可泛化为对精确率和召回率赋不同权重进行加权调和:

                                                                      评估指标

                                                                (P、R为精确率和召回率的缩写)

       4)准确率和错误率也是常用的评估指标。

                                                     评估指标 

        精确率和准确率区别:精确率是一个二分类评估指标,而准确率能做多分类评估指标。

相关文章: