文章目录
1 A/B实验
1.1 优点
- 通过流量细分可以同时追踪多个指标的变化趋势
- A/B测试的解释性更好，适用于获得各个版本的优劣的统计置信（statistical significance）。需要知道当前版本相对于base的各个指标如何变动、置信水平有多大、什么因素影响了指标变动。这些关于因素的分析可以用来指导后续的产品迭代
1.2 缺点
- 评估实验组与对照组的显著差异，用显著性假设检验，但是无法度量具体的因果效应
1.3 使用场景
- A/B测试适合测试一些周期较长的变化，且对结果分析获得的规律可以对后续工作产生指导
- 小流量实验可以避免直接上线效果不好造成损失。其次，实验迭代的过程中，决策都是有科学依据的，可以避免系统性的偏差。
- A/B 测试是可以持续不断进行的实验，即使一次实验提升的效果不大，但是长期下来复利效应的积累会产生很大的变化和回报。
参考：
A/B Test︱一轮完美的A/B Test 需要具备哪些要素
2 因果推断
2.1 优点
因果推断可以更加全面的了解问题：
- 关联问题:如果观察到因素X,因素Y会怎么样?
- 干预问题:如果改变了因素X,因素Y会怎么样?
- 反事实问题:假如因素X没有发生,会如何?
2.2 缺点
- 计算代价比较大，基于三大基础假设
2.3 使用场景
含有大量观测数据的情况下，可以使用各类合成A/B的方式，包括matching、合成控制等
- 评估干预因素的影响
- 需要反事实推理，评估一些决策因素异质性的场景
- 当实验对象不是个体粒度，而是一个特定的地理区域时，我们比较难找到同质的对照组，这时候需要用合成控制法来拟合出一个群体作为对照组
2.4 一些大厂方法论的总结
参考【因果推断笔记——数据科学领域因果推断案例集锦（九）】：
腾讯看点分享的【2-1观测数据因果推断应用-启动重置体验分析】文章中，比较明确的将实验、观测数据进行拆分，并在各自数据状态下，适用不同的方法：
第二个版本目前解决各个分析场景的方法论框架：
一些无法进行随机实验的场景下，会需要合成控制的方式
大部分运营和产品在评估效果时，最常用的方法就是effect = 上线后效果-上线前效果。这种方法最大的问题在于其关键假设，即上线的功能或者活动是唯一影响效果的变量。但是想想就知道这个假设是有多么不合理。
升级版的评估方案，可能会找到一个城市或者大盘来和上线的城市做对比，这种想法非常类似DID，但是这个里面也隐含着一个关键假设，即可以找到长期变化趋势高度同步的城市，这点对于有较强地域性的商业来说就非常困难。
还有一篇因果推断实战：淘宝3D化价值分析小结：
在datafun数据科学峰会中《5-1 数据+金融营销的思考与应用》提到的结合用户增长+因果推断：
节选datafun数据科学峰会：《9-3 电商搜索场景下的数据科学实践》
京东内部的因果推断基础框架整理：
3 多臂老虎机Bandit
3.1 优点
- 根据用户实时反馈智能分配，并保障收益最大化，可以对大部分运营实验实现智能化
- bandit实验的主要优点是它相比A/B测试会提前终止，因为它需要更小的样本。
- bandit实验比A/B测试的错误更少。一个平衡的A/B测试总是将50%的流量发送给每个组。随着实验的进行，发送到失败的臂的流量越来越少。
3.2 缺点
- bandits只能对单一指标进行持续优化，虽然可以把多个指标叠加成为一个复合指标，但是bandits的优化目标只能是单一的一个指标。
- bandits的解释性较差，无法进行实验间的对比
- 更小的样本规模带来的便利是以更大的假阳性率为代价的
3.3 使用场景
bandits算法适合一些变化快周期短的优化场景，获得的知识不一定能够解释和泛化：
- 当关心的问题只是转化率、留存率等的单一指标，且不需要对数据结果进行解释和分析。
- 当你的运营活动只有短短的几天或者一天，并没有时间等到A/B测试达到统计置信（statistical significance）时。
- 如果有一些长期需要优化的指标，而这些指标经常发生变化，那么这个也是bandits的一个重要的应用场景。
实验开启后无需操作和关注数据，abcd四组文案在每一次下发后都会实时收集反馈，自动根据上一轮的结果决定下一轮发什么，效果好的就加大流量效果差的就干掉，中规中矩的就给一少量流量留用观察，轮过几轮的循环推送，最终从均分，变成了绝大多数流量分给B和D脱颖而出并且旗鼓相当，A文案惨遭淘汰。最终效果相比均分，ctr提升9.2%，一定程度上实现了千人千面。
一旦实验增多，人力无法协调，智能动态调优实验就是一个解放人力的好方案。
参考文献：
多臂老虎机 学习笔记
不只是A/B测试：多臂老虎机赌徒实验
A/B测试增长实战
推荐系统︱基于bandit的主题冷启动在线学习策略
火山引擎：智能调优实验简介