A/B测试

A/B Test 介绍

AB Test可被视为析因实验中的一种特殊情况：单因子试验。具体而言，在同一目标下规划两个方案，在同一时间维度内将具有相同（相似）构成成分的用户群体随机分配至一个方案进行应用。获取各群组所产生用户体验数据以及相关业务数据，并通过显著性检验分析确定最优版本作为正式采用。

通常情况下, AB测试涉及两个对比组别:

A/B Test 数学原理

基于A/B测试的基本原理, 它可被视为统计学中显著性检验的一种方法. 在假设检验中, 通常会先设定关于总体参数的零假设. 接着通过样本数据计算相应的统计量, 并根据这些统计量判断零假设是否成立的过程. 其逻辑基础类似于反证法, 其理论依据是小概率事件几乎不可能发生的原理.

• Z检验：通常应用于样本容量较大的情况（即n > 30），其主要功能是评估平均值之间的差异性。通过标准正态分布理论计算出差异发生的概率值。
• T检验：主要用于样本数量较少（n < 30）且总体标准差未知的情形下进行均值比较。其计算基础是t分布理论。

假定从A组和B组各抽取5,000个样本，
其中A组作为对照方案，
而B组则作为实验方案。
每一次试验的结果要么成功转达，
要么未能转达。
因此可以认为变量服从伯努利分布。
即，
A\sim\text{Bernoulli}(N,\lambda_a)，
$B\sim\text{Ber