信息检索 DCG、NDCG、AUC、BM25、F1-Score

1、DCG

例子: 文章库内有4个文章 $d_1$d1​、$d_2$d2​、$d_3$d3​、$d_4$d4​。针对查询Q，每个文档的打分分别为：$d_1=0分$d1​=0分、$d_2=1分$d2​=1分、$d_3=2分$d3​=2分、$d_4=2分$d4​=2分。
查询Q在系统S中返回的结果顺序为: $d_3$d3​、$d_2$d2​、$d_4$d4​、$d_1$d1​。

解：DCG公式为：$DCG_{RF}=\sum \frac{score_i}{log_2{(1+rank_i)}}$DCGRF​=∑log2​(1+ranki​)scorei​​
查询的顺序与分数为：$d_3(2分)$d3​(2分)、$d_2(1分)$d2​(1分)、$d_4(2分)$d4​(2分)、$d_1(0分)$d1​(0分)
所以 $DCG_{RF}=\frac{2}{log_2{2}} + \frac{1}{log_2{3}} + \frac{2}{log_2{4}} + \frac{0}{log_2{5}} = 4.584$DCGRF​=log2​22​+log2​31​+log2​42​+log2​50​=4.584

2、NDCG

例子（同上）: 文章库内有4个文章 $d_1$d1​、$d_2$d2​、$d_3$d3​、$d_4$d4​。针对查询Q，每个文档的打分分别为：$d_1=0分$d1​=0分、$d_2=1分$d2​=1分、$d_3=2分$d3​=2分、$d_4=2分$d4​=2分。
查询Q在系统S中返回的结果顺序为: $d_3$d3​、$d_2$d2​、$d_4$d4​、$d_1$d1​。

解：NDCG公式为：$NDCG=\frac{DCG_{RF}}{IDCG}$NDCG=IDCGDCGRF​​
DCG公式为 $DCG_{RF}=\sum \frac{score_i}{log_2{(1+rank_i)}}$DCGRF​=∑log2​(1+ranki​)scorei​​
IDCG为Grund Truth即最理想的查询结果: $IDCG=\sum \frac{GT_i}{log_2{(1+rank_i)}}$IDCG=∑log2​(1+ranki​)GTi​​
查询的顺序与分数为：$d_3(2分)$d3​(2分)、$d_2(1分)$d2​(1分)、$d_4(2分)$d4​(2分)、$d_1(0分)$d1​(0分)
所以 $DCG_{RF}=\frac{2}{log_2{2}} + \frac{1}{log_2{3}} + \frac{2}{log_2{4}} + \frac{0}{log_2{5}} = 4.584$DCGRF​=log2​22​+log2​31​+log2​42​+log2​50​=4.584
$IDCG=\frac{2}{log_2{2}} + \frac{2}{log_2{3}} + \frac{1}{log_2{4}} + \frac{0}{log_2{5}} = 7.170$IDCG=log2​22​+log2​32​+log2​41​+log2​50​=7.170
综上: $NDCG=\frac{DCG_{RF}}{IDCG}=\frac{4.584}{7.170}=0.639$NDCG=IDCGDCGRF​​=7.1704.584​=0.639

3、ROC与AUC

A为Ground-Truth B为predict
正确率 $Accuracy=\frac{TP+FN}{TP+TN+FP+FN}=\frac{U-A\cap{B}+A\cap{B}}{U}$Accuracy=TP+TN+FP+FNTP+FN​=UU−A∩B+A∩B​

召回率 $Recall=\frac{TP}{TP+TN}=\frac{A\cap{B}}{A}$Recall=TP+TNTP​=AA∩B​

精准度 $Precision=\frac{TP}{TP+FP}=\frac{A\cap{B}}{B}$Precision=TP+FPTP​=BA∩B​

F1-Score $F1=\frac{2*Precision*Recall}{Precision+Recall}$F1=Precision+Recall2∗Precision∗Recall​

假阳率（ROC曲线X轴） $FPR=\frac{FP}{FP+TN}$FPR=FP+TNFP​

真阳率（ROC曲线Y轴） $TPR=\frac{TP}{TP+FN}$TPR=TP+FNTP​

AUC就是曲线右下部分面积。

4、BM25

BM25公式 $Score(Q, d)=\sum_{i}^{n} W_i * R(Q_i,d)$Score(Q,d)=∑in​Wi​∗R(Qi​,d)

其中: Q是Query。$Q_i$Qi​ 表示语素(切词后的语素，与词典库对应。如Q=保定驴肉火烧哪家强？ $Q_0$Q0​=保定，$Q_1$Q1​=驴肉)。$W_i$Wi​表示: 语素$Q_i$Qi​的权重，通常与TF-IDF排序成正相关。