AB实验中最小样本量的计算

本文详细解析ABTest从实验设计到结果分析的完整流程，重点介绍样本量计算方法和显著性检验技术。通过电商案例展示如何科学评估不同版本的效果差异，帮助读者掌握提升转化率、优化用户体验的关键数据决策方法。

AB实验简介 什么是AB实验 将测试对象随机分成A,B两组，然后比较两组之间的差异 AB测试是为Web或App界面或流程制作两个（A/B）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。 需要满足的条件： 对照组：有其他对照组作为对比，就能真正看出来效果。而且不同组间的效果差异要足够明显，才能验证我们的判断 随机性：为了排除实验条件以外的干扰因素，我们需要确保两个组的用户是随机选取，这是为了排除

AB实验样本量计算的核心在于平衡成本与准确性。业务方希望减少流量损失，数据科学家则需确保统计功效。样本量由三个关键因素决定：数据波动程度（σ²）、置信度与功效（α和β）以及最小可检测效应（MDE）。其中MDE是核心，检测更小效应会指数级增加样本量。实验前需明确MDE，避免事后调整。正确设定这些参数能确保实验高效可靠，避免资源浪费。

显然，如果实验选取的样本很小，实验结果可信度就不高，因为很可能抽取的样本不能代表真实的水平。这样的对比在统计学上叫做两样本假设检验，即实验组和对照组为两样本，假设检验的原假设Ho：实验组和对照组无显著差异；从这个公式可以知道，在其他条件不变的情况下，如果实验两组数值差异越大或者数值的波动性越小，所需要的样本量就越小。以下将以以p1=0.3，p2=0.305，α=0.05，β=0.2为例，演示在这几个工具里计算样本量的方法。实际A/B测试中，我们关注的较多的一类是比例类的数值，如点击率、转化率、留存率等。

转载：概率论系列考点 — 统计功效 | 最小样本量 统计功效及最小样本量是假设检验的进阶知识点 也是AB实验中非常常用的两个基本概念 因此，是各大厂面试官考察应聘者对假设检验的真实掌握情况 考点举例： ▶第一类错误的定义？ ▶统计功效的定义，以及应用场景？ ▶统计功效较低的影响是什么？ ▶最小样本量计算公式是什么？ ▶计算最小样本量的业务指导意义？ 以下文章涉及相关推导，有些同学可能看着吃力些 不要担心 只要了解 假设检验 |统计功效 |最小样本量的定义...

作者：livan来源：数据python与算法前沿统计计算主要应用在效果评估领域。客户经过分流之后在各个试验组中产生数据，统计的作用即为查看对应组的样本量是否达到最小样本量，数据之间是否存...

2.将策略推全来验证策略效果是比较危险的，因此AB实验的对象是从总体当中去抽样数据，总体的分布可能会有多种形态，如正态分布、偏态分布、严重偏态分布等，总体的数据量也有多有少。4.当每次从总体中抽样数据时，计算均值会得到一个数，抽样同样的数据量，计算均值，也会得到一个数，两个数大概率不会一样，因此，当抽样多次，计算的均值就会形成一个分布。5.小标4说的是样本容量，即每个随机样本中个体的数量，用n表示，当按照样本量抽取多次的时候，才能得到正态分布，抽样的次数，叫样本量。

详细的介绍了ABtest的思想、基本原理、实施步骤。

背景：AB实验具有一定前瞻性，统计性，科学性的特性。用好了就实现了在大数据时代的充分利用数据分析问题，解决问题，为决策提供强有力的依据，但是有时候用户在使用AB实验时候，会出现一些痛点和疑惑。痛点：每次实验需要多少流量实验时间开多长没有概念解决问题：为了验证某一个功能特性，一个实验需要开多少流量。一个实验需要开多长时间实验运行后，用户开始进组。1天后数据统计这就能说明：短信验证码的功能有效提高注册转换率？2天后数据统计这就能说明：图片验证码的功能有效提高注册转换率？

AB实验基本流程公式整理

Step1 制定关注指标 【方法】围绕业务制定实验中的核心关注指标（Driver Metrics），同时定义护栏指标（Guardrail Metrics） 【说明】护栏指标的存在，是为了防止我们的策略发生“捡芝麻掉西瓜”的情况。当护栏指标显著负向的时候，就算核心关注指标显著正向，我们依然不建议推全实验 ...

MDE

理论上样本量越大，越能反应实际情况，减少误差。但实际工作场景中，样本量同样不能过大，有两点原因 流量不足：小公司线上流量较小，产品开发过程中需要多个实验测试，并且每个实验的样本尽量不重叠，如果拿出来大部分做实验，会拖慢开发进度； 试错有成本：如果某个实验选择了50%的样本，而这个实验组的转化率降低了非常多，对收入有风险，试错成本高。 结论：尽量选择最小可靠性样本。 怎样计算需要多少样本 可直接使用网上计算器：样本量计算器 需要输入4个参数： Statistical power：统计功效，实验中最想得到的结

假设实验组加了一个特征，能准确识别高价值转化，而对照组没有这个特征，会导致对照组高估而导致对照组效果变差。但实际上特征的效果没有这么强，问题可控。Peeking问题：如果长时间观察，P值总会波动，可以挑选P值在0.05的周期。holdback：功能性一定要推看后续效果，防止新奇效应。二类错误：H1成立时，不拒绝H0，实验有效以为无效。一类错误：H0成立时，拒绝H0，错误以为实验有效。pre-MPR：控制实验风险，快速推到MPR。post-MPR：放量时防止系统过载。广告系统中，提升更流量占比息息相关。

关于样本 样本的内容引用自：https://zhuanlan.zhihu.com/p/40919260 理论上，样本越多越好，工作中，样本量越少越好 然而在现实操作中，样本量应该越少越好。这是因为： 流量有限。大公司因为用户数量足够多，不用过于精打细算，同时跑几十个甚至上百个实验也没问题。但小公司一共就那么点流量，还要开发这么多新产品。在保证不同实验的样本不重叠的情况下，产品开发的速度会大大降低...

摘要：AB实验是互联网公司验证功能上线的核心方法，基于假设检验原理，将用户随机分为A/B组，仅对B组进行改动，通过对比数据评估效果。实验流程包括确定指标、样本量、流量分配、灰度测试等环节，需产品、开发、数据团队协作。其统计学基础涉及大数定律（频率趋近概率）、中心极限定理（样本均值服从正态分布）、显著性水平α（第一类错误概率）、检验效能β（第二类错误概率）以及最小样本量计算等关键概念。（148字）

本文继续介绍假设建立和实验设计部分，包括实验对象、样本量计算（显著性水平、统计功效及最小可检测效应）、实验周期。