实战Udacity弹窗测试ABTest

Udacity（优达学城）在线教育平台

目录

一、实验概述

（一）实验当前状况

（二）实验变化趋势

（三）实验前提假设

二、策略选取

（一）固定指标—用于完整性验证

（二）评估标准

三、指标的基础数值（baseline）

四、标准差的估算方法

（一）数据缩放处理

（二）标准差的估计过程

1、总体转化率 Gross Conversion

2、用户留存率 Retention

3、净转化率 Net Conversion

五、实验样本数量计算方法

（一）获取z_score临界值和标准差数据

1、总体转化率 GC

2、用户留存率 Retention(该指标不采用)

3、净转化率 NC

六、数据导入流程

（一）数据质量验证步骤

1、核对用户数量信息

2、核对点击免费试用按钮的用户数量信息

3、验证概率差异的合理性(点击免费试用按钮的概率)

（二）指标样本数量核查步骤

1、GC

2、NC

（三）符号检验 进行二次验证

七、结论与建议

---

一、实验设计与实施概述

（一）实验现状

• 首页界面提供了两个可选操作：“启动免费试听”以及“查阅课程内容”

——当学习者选择“启动免费试听”时，系统会提示其填写信用卡相关信息，随后进入付费课程的试用阶段。在14天试用期结束后，系统将自动进行扣费