数分面试题-AB测试

1、ABtest实验目的

1，判断哪个更好，2个设计方案，需要实验判断
2，计算收益：例如，最新上线了一个直播功能，那么直播功能到底给该平台带来了多少额外的DAU，多少额外的使用时长，多少直播以外的视频观看时长等

对于一般的abtest，本质上就是把平台的流量均匀分为几个组，每个组添加不同的策略，然后根据这几个组的用户数据指标，例如：留存、人均观看时长，基础互动率等等核心指标。

2、A/Btest是什么？意义/目的/作用

一般用于互联网公司对两种方案进行效果对比，以确定哪个版本的性能更好的方法，主要是利用统计学中的假设检验的方法进行测试。
意义：

• 通过实验可以验证问题的原因
• 降低人为决策风险，用统计数字对运营进行科学支持

3、A/Btest工作原理

H0：这个改动不会对核心指标产生影响
H1：这个改动会对核心指标产生影响

当P值足够小时，我们则推翻原假设，证明这项改动会对我们所关注的指标产生显著影响
ABtest就是随机均匀样本组的对照实验，这就是AB测试的原理。

4、A/B test流程（面试喜欢问）

1. 确定目标（指标）：目标是用于确定变体是否比原始版本更成功的指标。可以是点击按钮的点击率、链接到产品购买的打开率、电子邮件注册的注册率等
2. 分配流量：实验抽样很可能出现抽样不均的情况，尽量采用科学的试验流量分割，使得每一组实验对象具备一致的用户特征，保证实验数据的变化仅仅是实验本身引起的。可以是一次性抽取4/5组流量，选择任意两组不加策略空跑，监控核心指标数据，选取两