四、如何测试模型在真实数据上的表现

1.对照实验。在实验中设置对照组,为了与即将进行实验的组进行对比,减少实验中一些不确定因素的影响。

将数据分成两部分,实验组和对照组,检验实验组合对照组在统计意义上是否有明显差异

2.观察性实验。在实际研究中,研究者可能无办法去控制一些影响因素,例如:

(1)随机对照实验违反伦理道德。

(2)研究者无法控制因素的发生与否。

(3)在实际应用中可能由于控制因素的成本太大,也可能会采取这种方法

3.离线实验。

步骤:

  1. 通过日志系统获得用户行为数据,按照一定的格式生成一个标准的数据集
  2. 将数据集按照一定的规则分成训练集的和测试集
  3. 在训练集上训练用户兴趣模型,在测试集上进行预测
  4. 通过事先定义的离线指标评测算法在测试集上的预测结果

优点:

  • 不需要真实用户的参与
  • 速度快,可以测试大量算法

缺点:

  • 无法计算商业关心的指标,例如点击率、转化率等

猜你喜欢

转载自blog.csdn.net/weixin_39541558/article/details/82348359