评测方法和指标

[leekerberos]

推荐系统相关效果评测指标总结

http://km.oa.com/group/2714/articles/show/325977?kmref=search&from_page=1&no=2

1. 评测方案 离线试验、在线ab测试、用户反馈和调研、 负反馈率、负面评论率
2. 评测指标
   • 离线 ①准确性指标mae、mse、rmse、name、准确率、召回率 ②覆盖率指标 ③多样性和新颖性
   • 在线 dau、ctr、pv、uv、阅读市场、评论量
   • 用户调研
3. 提升方法
   • 充分利用用户反馈、混合推荐、对内容来源进行筛选、加入LBS相关因素、重视关系链推荐、加强推荐时效
   • 竞品对比是发现自有推荐系统与竞品差距的直观方法，从数据层文章来源、品类以及分类到NLP tag提取的tag的质量，都可以通过抓取竞品数据进行对比评测

[leekerberos]

Evaluating Recommender Systems: Choosing the best one for your business

https://medium.com/recombee-blog/evaluating-recommender-systems-choosing-the-best-one-for-your-business-c688ab781a35

[leekerberos]

How do you measure and evaluate the quality of recommendation engines?

https://www.quora.com/How-do-you-measure-and-evaluate-the-quality-of-recommendation-engines

[leekerberos]

What metrics are used for evaluating recommender systems?

https://www.quora.com/What-metrics-are-used-for-evaluating-recommender-systems