当我们做实验的时候，我们在做什么？

一、实验设计

1.选用什么实验方式？

• 如何验证一个策略的效果呢？一般看可以使用AB实验，设置实验组、对照组分别对应有无策略，最终对比两组效果，以达到策略效果的目的。
• 但是实际实施过程中，有些情况无法使用AB实验，只能是全局策略的情况，例如禁烟效果评估，那么这样的实验如何设计？可以直接使用策略，观察前后的效果差异，如若有其他影响策略效果的因素无法排除，可使用全样本量的实验方法近似评估。
• 此外，如若不考虑实验对象的体验，也可以使用有无策略交替的情况来分别当做实验组、策略组进行效果评估。

2.实验形式

线上分流还是离线分流？
线上分流，实时进入观察对象，实时分组。
离线分流，提前准备好实验组、对照组的名单。

3.实验时长的确定–最小样本量计算

样本是研究总体中抽取的一部分。

为什么要计算？

对一类、二类错误有一定的要求，能接受一定的弃真、取伪的概率，但是不能毫无限制，毫无限制会导致实验结果不具有参考性。

如何计算？

可用工具
计算时需要使用的参数
python实验传送门


传送门

4.需要注意的控制变量是什么？

随机分人群真的就是完全随机吗？
对于其他影响实验结果的情况，需要在分组的时候，控制到随机。尽量做到实验不交叉。

5.实验设计的书写注意事项

• 与业务确认：实验业务目的、实验预期结果、实验组别个数与对应的策略
• 科学计算：设计实验方式、组别的样本量、实验时长
• 备注假设：实验组、对照组无其他因素影响，有的话与策略无交叉影响，影响程度方向一致
• 选择什么时间上实验，最好避免与其他实验同时发生。如果有影响则策略评估效果有偏差，如果无法避免或无法获知，则只能假定不影响实验。

二、实验评估

1.AB 实验

1.1统计量

针对绝对量、率值指标、0-1指标分别使用什么分布进行评估呢？
根据中心极限定理，样本容量很大时，分布会渐近服从正态分布。由于实际总体的方差未知，所以实验使用 z检验。但是对于不同分布的样本均值、方差计算公式不同。
根据要观察的指标，使用不同的统计量。

• 普通绝对值指标，范围(-无穷, +无穷),用T检验/Z检验；
• 离散指标，卡方检验；
• 比率指标,；
• 0-1分布的指标,。

a 均值检验

b 比率检验

c 0-1分布检验

d t配对检验 结合PSM-DID 使用

比率指标
实验评估思路：假定策略没有效果，再此基础上验证策略结果出现的概率，如果很小（<0.05），那么认为实验的结果确实跟之前有显著的不同，实验结果有效。

2.时间片轮转实验

当策略不能做分组实验的时候，可以从时间角度，在不同时段轮转有无策略，来当作实验组、对照组。假定其他对结果有影响的策略在实验组、对照组的影响方向&程度一致，以此来评估实验效果。

• 以时间作为AB的轮转，时间片的长度如何确定？
  可以检验历史的不同时间片长度之间是否有显著差异，来决定。
  当涉及到策略会有延迟的时候，时间片的长度应尽量放宽，防止实验策略滞后到对照组，影响实验效果。
• 实验长度
  一般选取双数周未长度，来剔除不同时段、不同工作日的影响。

（待补充）VCM评估方法？

3.全量实验

预测类方法
假定原指标的趋势稳定的情况下，构建反事实框架，使用各种方法预测假如没有实验的情况下，预测指标的趋势。以实际与预测情况对比查看实验效果。

3.1 DID方法

实验组：实际策略后的指标
对照组：假如未进行试验的指标情况（根据预测来求得）
Yt = a0+a1T+a2D+a3TD+u
a3就是策略效果，可以通过回归获得系数与显著性。
实验期间，实验组与对照组的数值差异 = 实际策略差异 + 预测拟合的误差
拟合误差可用实验前的拟合效果求得。
策略效果 = 实验期实验组与对照组的数值差异 - 实验前预测拟合的误差
如何预测无策略时指标？时间预测：ARIMA、prophet、H_P滤波等等均可
传送门

3.2 casual impact（bsts）–预测指标的方法之一

使用其他可拟合全量实验的样本，根据时间波动趋势来拟合。
R包传送门

3.3 合成控制法–预测指标的方法之二

使用其他可拟合全量实验的样本，根据时间波动趋势来拟合。
合成控制法理论传送门

3.4 ARIMA 、prophet --预测指标方法之三

完全使用自身波动趋势，无需其他可参考群体。

3.5 抽样匹配的方法

• psm

原理传送门
代码传送门-应该有更全的吧