评价指标的理解？"/>
对推荐系统排序(Rank)评价指标的理解？
1、1.Mean Average Precision (MAP)
可能大家接触比较多的是MAP，MAP考虑的是0和1的排序。
A P = ∑ j = 1 n i P ( j ) . y i , j ∑ j = 1 n i y i , j AP=\frac{\sum_{j=1}^{n_{i}}P(j).y_{i,j}}{\sum_{j=1}^{n_{i}}y_{i,j}} AP=∑j=1niyi,j∑j=1niP(j).yi,j
其中 y i , j y_{i,j} yi,j：排序中第j个元素对于查询i是否是相关的；相关为1，不相关为0。
P ( j ) = ∑ k : π i ( k ) ≤ π i ( j ) y ( i , k ) π i ( j ) P(j)=\frac{\sum_{k:\pi_{i}(k)\le\pi_{i}(j)}y(i,k)}{\pi_{i}(j)} P(j)=πi(j)∑k:πi(k)≤πi(j)y(i,k)
其中 π i ( j ) \pi_{i}(j) πi(j)为j的排序位置。
例如，
rank_no 是否相关
1 1
2 0
3 1
4 0
5 1
6 0
则根据AP计算公式：
A P = ( 1 ∗ 1 + ( 1 / 2 ) ∗ 0 + ( 2 / 3 ) ∗ 1 + ( 2 / 4 ) ∗ 0 + ( 3 / 5 ) ∗ 0 + ( 3 / 6 ) ∗ 0 ) / 3 = … AP = (1*1 + (1/2) *0+ (2/3)*1 + (2/4)*0 + (3/5)*0 + (3/6)*0) /3 = … AP=(1∗1+(1/2)∗0+(2/3)∗1+(2/4)∗0+(3/5)∗0+(3/6)∗0)/3=…
举例，第一项，P(1) = 它前面的项（包括自己）相关的个数除所在排序的位置（也就是1）。第一位及前面（前面没有）相关的个数就是它本身，所以P(1)的分子就是1，分母也是1.所以取值为1。同时y值为1.最终的对应AP中的项就是1
其他以此类推。
AP的最大值为1（也就是当相关的全部排在不相关的前面的时候）
MAP就是对所有query的AP求平均。
2.Mean Reciprocal Rank (MRR)
M R R = 1 ∣ Q ∣ ∑ i = 1 ∣ Q ∣ 1 r a n k i MRR=\frac{1}{|Q|}\sum_{i=1}^{|Q|}\frac{1}{rank_{i}} MRR=∣Q∣1i=1∑∣Q∣ranki1
其中|Q|是查询个数，ranki是第i个查询，第一个相关的结果所在的排列位置。
举例：
对于三个查询，每个查询的ranki分别为3、2、1。所以，
M R R = 1 / 3 ∗ ( 1 / 3 + 1 / 2 + 1 / 1 ) MRR=1/3∗(1/3+1/2+1/1) MRR=1/3∗(1/3+1/2+1/1)
3.NDCG
NDCG是考虑到评分的排序。
说到NDCG就需要从CG开始说起。
CG（cumulative gain，累计增益可以用于评价基于打分/评分的个性推荐系统。假设我们推荐k个物品，这个推荐列表的 C G k CG_{k} CGk计算公式如下：
C G k = ∑ i = 1 k r e l i CG_{k}=\sum_{i=1}^{k}rel_{i} CGk=i=1∑kreli
r e l i rel_{i} reli表示第k个物品的相关性或者评分。假设我们共推荐k个电影， r e l i rel_{i} reli可以是用户对第i部电影的评分。
比如豆瓣给用户推荐了五部电影，
M 1 , M 2 , M 3 , M 4 , M 5 M_{1},M_{2},M_{3},M_{4},M_{5} M1,M2,M3,M4,M5，
该用户对这五部电影的评分分别是
5, 3, 2, 1, 2
那么这个推荐列表的CG等于
C G 5 = 5 + 3 + 2 + 1 + 2 = 13 CG_{5}=5+3+2+1+2=13 CG5=5+3+2+1+2=13
CG没有考虑推荐的次序，在此基础之后我们引入对物品顺序的考虑，就有了DCG(discounted CG)，折扣累积增益。公式如下：
D C G k = ∑ i = 1 k 2 r e l i − 1 l o g 2 ( i + 1 ) DCG_{k}=\sum_{i=1}^{k}\frac{2^{rel_{i}}−1}{log_{2}(i+1)} DCGk=i=1∑klog2(i+1)2reli−1
比如豆瓣给用户推荐了五部电影，
M 1 , M 2 , M 3 , M 4 , M 5 M_{1},M_{2},M_{3},M_{4},M_{5} M1,M2,M3,M4,M5，
该用户对这五部电影的评分分别是
5, 3, 2, 1, 2
那么这个推荐列表的DCG等于
D C G 5 = 2 5 − 1 l o g 2 2 + 2 3 − 1 l o g 2 3 + 2 2 − 1 l o g 2 4 + 2 1 − 1 l o g 2 5 + 2 2 − 1 l o g 2 6 = 31 + 4.4 + 1.5 + 0.4 + 1.2 = 38.5 DCG_{5}=\frac{2^5−1}{log_{2}2}+\frac{2^3−1}{log_{2}3}+\frac{2^2−1}{log_{2}4}+\frac{2^1−1}{log_{2}5}+\frac{2^2−1}{log_{2}6}=31+4.4+1.5+0.4+1.2=38.5 DCG5=log2225−1+log2323−1+log2422−1+log2521−1+log2622−1=31+4.4+1.5+0.4+1.2=38.5
DCG没有考虑到推荐列表和每个检索中真正有效结果个数，所以最后我们引入NDCG(normalized discounted CG)，顾名思义就是标准化之后的DCG。
N D C G k = D C G k I D C G k NDCG_{k}=\frac{DCG_{k}}{IDCG_{k}} NDCGk=IDCGkDCGk
其中IDCG是指ideal DCG，也就是完美结果下的DCG。
继续上面的例子，如果相关电影一共有7部
M 1 , M 2 , M 3 , M 4 , M 5 , M 6 , M 7 M_{1},M_{2},M_{3},M_{4},M_{5},M_{6},M_{7} M1,M2,M3,M4,M5,M6,M7
该用户对这七部电影的评分分别是
5, 3, 2, 1, 2 , 4, 0
把这7部电影按评分排序
5, 4, 3, 2, 2, 1, 0
这个情况下的完美DCG是
I D C G 5 = 2 5 − 1 l o g 2 2 + 2 4 − 1 l o g 2 3 + 2 3 − 1 l o g 2 4 + 2 2 − 1 l o g 2 5 + 2 2 − 1 l o g 2 6 = 31 + 9.5 + 3.5 + 1.3 + 1.2 = 46.5 IDCG_{5}=\frac{2^5−1}{log_{2}2}+\frac{2^4−1}{log_{2}3}+\frac{2^3−1}{log_{2}4}+\frac{2^2−1}{log_{2}5}+\frac{2^2−1}{log_{2}6}=31+9.5+3.5+1.3+1.2=46.5 IDCG5=log2225−1+log2324−1+log2423−1+log2522−1+log2622−1=31+9.5+3.5+1.3+1.2=46.5
所以
N D C G 5 = D C G 5 I D C G 5 = 38.5 46.5 = 0.827 NDCG_{5}=\frac{DCG_{5}}{IDCG_{5}}=\frac{38.5}{46.5}=0.827 NDCG5=IDCG5DCG5=46.538.5=0.827
NDCG是0到1的数，越接近1说明推荐越准确。
更多推荐
对推荐系统排序(Rank)评价指标的理解？
发布评论