AI效果测试

[summer506hai]

指标计算

排序效果

• NDCG 根据人工标注的结果，计算NDCG值，来评判 排序效果的好坏

1. 10个url url1,url2,url3,url4,url5,url6,url7,url8,url9,url10

   对应的 idcg 为 [10,9,8,7,6,5,4,3,2,1]

2. 人工标注的 pos为 url1 -> 4 ,url2 -> 2 ,url3 -> 5 ,url4 -> 7 ,url5 -> 3 ,url6 -> 1 ,url7 -> 10 ,url8 -> 6 ,url9 -> 8 ,url10 -> 9

3. 按人工标注的url排序为

   url6 ,url2,url5,url1 ,url3 ,url8 ,url4 ,url9 ,url10,url7

4. 对应分数

   url6 -> 10 ,url2 -> 9 ,url5 -> 8 ,url1 -> 7 ,url3 -> 6 ,url8 -> 5 ,url4 -> 4 ,url9 -> 3 ,url10 -> 2 ,url7 -> 1

5. 模型给出的分数，从高到底排序为

   url4 ,url6,url7,url2 ,url10 ,url8 ,url1 ,url5 ,url3,url9

6. 模型给出的分数，对应的url排序，对应 4中的分数 为

   url4 -> 4 ,url6 -> 10 ,url7 -> 1 ,url2 -> 9 ,url10 -> 2 ,url8 -> 5 ,url1 -> 7 ,url5 -> 8 ,url3 -> 6 ,url9 -> 3

   对应的 dcg为 [4,10,1,9,2,5,7,8,6,3]

7. ndcg计算公式

k为 5，表示计算前5个结果的ndcg结果

准确率、精确率（精准率）、召回率、F1值