1.对照实验。在实验中设置对照组,为了与即将进行实验的组进行对比,减少实验中一些不确定因素的影响。
将数据分成两部分,实验组和对照组,检验实验组合对照组在统计意义上是否有明显差异
2.观察性实验。在实际研究中,研究者可能无办法去控制一些影响因素,例如:
(1)随机对照实验违反伦理道德。
(2)研究者无法控制因素的发生与否。
(3)在实际应用中可能由于控制因素的成本太大,也可能会采取这种方法
3.离线实验。
步骤:
- 通过日志系统获得用户行为数据,按照一定的格式生成一个标准的数据集
- 将数据集按照一定的规则分成训练集的和测试集
- 在训练集上训练用户兴趣模型,在测试集上进行预测
- 通过事先定义的离线指标评测算法在测试集上的预测结果
优点:
- 不需要真实用户的参与
- 速度快,可以测试大量算法
缺点:
- 无法计算商业关心的指标,例如点击率、转化率等