基础知识 AB 测试

ABTest与以往的对比实验具有相似性，其核心在于将构成要素一致或相近的群体，在相同的时间范围内随机分配至不同的方案（如方案A、B、C等），随后收集各组在用户体验及业务方面的数据，最终通过分析确定最优方案。

目录

一、实施流程

选定实验对象：

估算所需样本数量：

划分流量比例：

计算实验持续时间：

线上验证过程：

二、假设检验

1、假设检验的主要流程：

2、各类分布及其拒绝区域

2.1 对称型分布（t分布与正态z分布）

2.2 非对称型分布（F分布、卡方分布）

三、注意事项

1、不适用于ABtest的情形（三种情况）

2、网络效应问题

3、学习效应（新颖性效应）

4、多重检验所带来的影响

5、实用小建议

四、面试相关问题：

1、若滴滴计划优化司机端某一功能，应如何评估该功能的实际效果？

2、某款应用程序中，用户活跃周期为14天。现开展一项为期20天的实验，但有新员工在第10天时进行统计推断，发现数据已呈现显著差异，并认为可提前终止实验。这种做法是否恰当？

3、如何应对多个实验同时进行的情况？

4、涉及多个活动交集的实验设计方法：

5、辛普森悖论的处理方式：

---

---

ABTest的价值体现如下：

1、有助于统一团队意见，从而提升整体协作效率

2、借助实验手段可有效识别问题的根本原因

3、减少主观判断带