推荐系统的性能评估（RMSE、MAE、F1 core、A/B testing、CTR和CR、ROI和QA）

目录

一、线下评估（应用学术研究）

1、RMSE(均方根误差)

2、MAE(均方误差)

3、F1 score(包括recall和precision)

（1）recall

（2）precision

4、A/B testing

二、线上评估（应用于商业）

1、CTR和CR

2、ROI和QA

---

一、线下评估（应用学术研究）

1、RMSE(均方根误差)

应用场景：需要用户评分信息，评分信息较多时

RMSE越小表示误差越小，推荐系统的性能就越好

2、MAE(均方误差)

应用场景：需要用户评分信息，评分信息较多时

3、F1 score(包括recall和precision)

应用场景：当没有用户评分信息时，或者评分信息较少

举例：

（1）recall

或

此时recall=6/10=0.6，recall越大表示包含了越多给用户推荐的商品

（2）precision

或

此时precision=6/50=0.12,precision越大表示了推荐的商品数量越少，即推荐的更精准

综合（1）+（2）

F的值越大说明推荐系统的性能越好

4、A/B testing

分组推荐，可以不止是A和B，越多消耗资源越大

二、线上评估（应用于商业）

1、CTR和CR

CTR(点击率Click Through Rate)

CR（转化率 Conversion Rate）

2、ROI和QA

关键在于定义合理的回报和投资，ROI越大推荐系统性能越好

当凭借算法评价推荐系统的性能不理想时，可以专门成立一个QA小组来测试推荐系统，根据个人经验判断。