原理
A/B-test是为同一个目标制定两个方案，在同一时间维度，分别让组成成分相同（相似）的用户群组随机的使用一个方案，收集各群组的用户体验数据和业务数据，最后根据显著性检验分析评估出最好版本正式采用。
核心是：“可量化”且“可控”。
如何设计AorB版本？
遵循同层互斥的原理，要保证AB版本的样本，是同一层级的不同群体。
如何选择AorB？
是依靠统计学中的假设检验理论进行AB项实验结果的选择。假设检验：我要证明某个结论（备选假设，即实验组）成立，那么就证明它的反命题（原假设，即对照组）是小概率（p值大小明确阈值，一般为0.05）事件，是不可能发生的。如果一旦原假设发生的概率高于p值，那么说明原假设成立，备选假设不成立；反之，则备选假设成立。其中，p值：是当原假设成立，出现与样本相同或者更极端案例的概率。
如何计算样本量？
需要确定以下几个值：α，β，ctr1，ctr2
α，显著性水平，一般0.05，或者0.01（冤枉的好人占比）
β，统计功效，一般0.8（漏网之鱼的占比）
ctr1，原来的版本平均值，从10%
ctr2，测试版本的平均值，到11%
这样就能计算出样本数量，保证测试的可信性。
如何确定哪种假设检验？
实验设计流程
确定目的：提升过程指标转化率
确定方案情况：A方案，与B方案差别
开始实验：
计算样本量，计算显著性，计算置信区间
得出结论：
过程指标显著性上升，可以替代
过程指标显著性下降，不考虑
相关其他点
Q1：为什么不进行ABCD四个实验与a对比，进行同时观察？
A1：每个实验（Aa）出现第一类错误的概率是5%，反之成功的概率是95%，那么四个实验（aA、aB、aC、aD）的概率就是95%的4次方=81%，第一类错误的概率较变为9%，这样的结果就不可信。
Q2：那么我该如何做多组实验呢？
A1：贝叶斯推断，可以作为理论依据进行显著性计算。
