限 时 特 惠： 本站每日持续更新海量各大内部创业教程，一年会员只需98元，全站资源免费下载 点击查看详情
站 长 微 信： muyang-0410
一、ab test 中的假设检验原理是什么，它是怎么跟ab test结合的
• 控制变量法下的假设检验
•假设检验的基本思想：“小概率事件”原理，其统计推断方法是带有某种概率性质的反证法。小概率思想是指小概率事件在一次试验中基本上不会发生。
•假设检验基本思路：在小概率事件原理的基础上，带有概率性质的反证法。
1.假设检验
思路：
概率论中，如果我们能够证明零假设不成立，那么其备择假设肯定为真。即，零假设和备择假设为对立事件。
设立假设：
•零假设：A和B没有显著差异
•备择假设：A和B有显著差异
如果能找到足够强的证据来否定零假设（A和B没有显著差异），那么就能有效的说明零假设不成立，即备选假设成立。
证据：
计算零假设成立的前提下A和B没有显著差异的概率P.value，零假设为真的概率，若P值=0.01，显著性水平α为0.05，则零假设成立的概率=1% < 5%，而备择假设成立的概率大于95%，因此否定了零假设，可认为备择假设为真。
结论：
P.valueα，不拒绝零假设
假设检验的两类错误：注：弃真和取伪都是针对零假设的。
•I类错误——弃真错误，发生的概率为α，否定了真实的原假设。避免方法：可通过α水平控制，降低α水平
•II类错误——取伪错误，发生的概率为β，接受了错误的原假设。避免方法：可通过扩大样本容量
Type 1
1.H0：他没有怀孕
2.H1：他怀孕了
第一类错误：弃真错误。H0是真的，但是被拒绝了。
Type 2
1.H0：她没有怀孕
2.H1：她怀孕了
第二类错误：取伪错误。H0是假的，但是被接受了。
二、如何选择实验的样本量
在线计算网址
1.数值类计算：需要填写方差
2.比值类计算：不需要方差
(1)实验所需样本量的一般公式
统计学里有最小样本量计算公式，如下：
其中
n是每组所需样本量，因为A/B测试一般至少2组，所以实验所需样本量为2n；
α和β分别称为第一类错误概率和第二类错误概率，一般分别取0.05和0.2；
Z为正态分布的分位数函数；
Δ为两组数值的差异，如点击率1%到1.5%，那么Δ就是0.5%；
σ为标准差，是数值波动性的衡量，σ越大表示数值波动越厉害。
从这个公式可以知道，在其他条件不变的情况下，如果实验两组数值差异越大或者数值的波动性越小，所需要的样本量就越小。
(2)比例类数值所需样本量的计算
R和G*Power使用的样本量计算公式：
•实际A/B测试中，我们关注的较多的一类是比例类的数值，如点击率、转化率、留存率等。
•这类比例类数值的特点是，对于某一个用户（样本中的每一个样本点）其结果只有两种，“成功”或“未成功”；对于整体来说，其数值为结果是“成功”的用户数所占比例。如转化率，对于某个用户只有成功转化或未成功转化。
•比例类数值的假设检验在统计学中叫做两样本比例假设检验。其最小样本量计算的公式如上图所示。
•上面式子中p1我们称为基础值，是实验关注的关键指标现在的数值（对照组）；p2我们称为目标值，是希望通过实验将其改善至的水平；第一类错误和第二类错误上边已经提到，暂不多做说明，通常设定α为0.05，β为0.2 。
(3）样本量的四个影响因素
要确定所需样本量，首先得知道哪些因素会影响样本量大小。
以独立样本T检验为例，在计算实验效果的时候，除了样本量，我们还会考虑下面4个指标。
•显著性水平(α)（第一类错误概率）：显著性水平越低，对实验结果的要求也就越高，越需要更大的样本量来确保精度
•统计功效(1 – β)（第二类错误概率）：统计功效意味着避免犯二类错误的概率，这个值越大，需要的样本量也越大
•均值差异(μ A − μ B)：如果两个版本的均值差别巨大，也不太需要多少样本，就能达到统计显著
•标准差(σ)：标准差越小，代表两组差异的趋势越稳定。越容易观测到显著的统计结果
在这个公式里:
nA代表A组的样本数量，nB代表B组的样本数量
K为nA与nB的比值，这个值一般情况下，我们都默认为1，即AB两组的用户数量相等，方便做严谨的AB实验对比。
三、指标的提升怎么判断显著性
假设我们有了数据结果，策略A的转换率是10%，策略B的转换率是8%，那我们说策略A比策略B好，这样就可以了吗？不可以，因为可能是抽样误差引起的转换率差异，为了区分实验A和B的差异是由抽样误差引起的？还是本质差别引起的？我们需要做假设验证 ( )。统计学中有很多假设验证方法，例如：
•T检验: 也称’s t test，适用: 样本量较小(如n
（1）单样本T检验: 总体样本vs抽样样本。
（2）配对样本T检验: 同一对象接受两种不同的处理。
（3）双独立样本T检验: 两组独立样本。
•Z检验: 也称U检验，适用: 大样本量(如n>30)，总体标准差已知，正态/近似正态分布的样本。目的: 比较平均值之间差异是否显著。
•F检验: 适用: 正态/近似正态分布的变量。目的: 检验两个正态分布变量的总体方差是否相等。
•卡方检验: 也称chi- test或X2 test，适用: 类别型变量。目的: 检验两个变量之间有无关系，例如性别和是否购买数码产品之间的关系。
我们做AB Test，“如果样本量足够大，那么Z检验和t检验将得出相同的结果。对于大样本，样本方差是对总体方差的较好估计，因此即使总体方差未知，我们也可以使用样本方差的Z检验”。但正常来说，除非是长期的实验(0.5-1年)，例如算法，会选择Z检验。正常的短期AB Test基本是实验1个月内甚至说1-2周，那么此时建议选择T检验。
假设检验的检验有两种：单边假设检验和双边假设检验，前者判断A、B是否显著优/劣于对方，后者判断A、B是否存在显著差异。
四、aa 检验怎么做， 怎么判断aa 做的科学
1.分配流量,AA实验:
实际AB实验中可能出现抽样不均的情况,例如实验组恰好有很多土豪,那么结果就会产生偏差,为了保证实验数据的变化仅仅是实验本身引起的,可以一次性抽取4,5组流量,选择任意两组不加策略空跑,监控核心指标数据,选取两组数据最接近的上实验(控制变量)
（1）AA进行假设检验，检验AA是否有显著差异，如果随机分流稳定零假设和备择假设，AA不会有显著差异；
（2）检查小样本的分流比例是否和设定的相差不多，例如，看新老用户分别的分流比例、2000家酒店页的分流比例等等；
（3）顺着随机分流系统的代码规则，看一个用户是否被分到该分的组内（难度大，主要是看随机分流系统有无问题）
（4）分流启动后分析个分组是否符合流量分配大小比例；分析各组用户属性，是否符合整体用户属性分布。
五、ab test 主要的应用场景
1.体验优化
用户体验永远是卖家最关心的事情之一，但已经完善的落地页随意的改动是一件很冒险的事情，因此很多卖家会通过AB测试进行决策，常见的是在保证其他条件一致的情况下，针对某一单一的元素进行AB两个版本的设计，并进行测试和数据收集，最终选定数据结果更好的版本。
2.转化率优化
通常影响电商销售转化率的因素有产品标题、描述、图片、表单、定价等，通过测试这些相关因素的影响，不仅可以直接提高销售转化率，长期进行也能提高用户体验。
3.广告优化
广告优化可能是AB测试最常见的应用场景了，同时结果也是最直接的零假设和备择假设，营销人员可以通过AB测试的方法了解到哪个版本的广告更受用户的青睐，了解到哪些步骤怎么做才能最吸引用户。
4.推荐及算法优化
当有需要进行验证的算法时，可以通过AB测试来进行试验验证，相比全量更新，AB测试所进行的灰度测试更便捷，风险控制更精准。
5.UI优化
这是比较常见的场景。不像功能的设计，存在着很多逻辑上的思路，经常还是可以确定哪种方案好，哪种方案不好。UI的优化，往往是很“艺术”层面的。往往看到真实数据前，谁也难以说明哪种设计能带来更好的数据效果。
6.文案变化
7.页面布局
页面布局，主要指的是同页面中的不同元素的排列方式。
六、ab test流程
流程一
1.确认实验目标
比如：找到召回沉默用户效率最高的策略
2.设计实验
•明确目标用户
过去30天-180天未下单老客
•试验周期
测试一周，周期内不进行打散
•最小样本量
参照**【(2) 如何选择实验的样本量】**
•用户分组和分组策略
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img–88)(C:Users\\-user-image-.png)]
•分流比例
3.上线实验与过程监控
需要检测实验是否按照预期设定正常运行，在A/B实验中常出现的需要检查的问题有如下：
•空白组是否真的空白的，有无空白组用户领取到实验组1、实验组2、实验组3发的券，如果发现有领券的，那需要排查分流系统问题（一般需要产研根据log信息找到当时为什么判定给该用户发券）
•1个用户是否仅属于某一个组，有无存在多个组的情况
•分流是否和预先设定的分流比例一致，误差1%也要寻找原因
•实验样本是否是预先设定的目标实验样本，判断实验是否进行了用户筛选过滤，比如本实验是对沉默用户进行召回，有无近30天有交易的活跃用户也被发券，如果有那说明目标用户的圈选出问题，需要排查上下游看看是哪个环节出现问题
4.结果复盘：ROI评估
流程二
1.确定业务目标
•明确要提升的业务指标
•明确要改进的产品/策略
2.选择检验指标
3.哪些指标能够体现出因策略不同而引起的变化
4.确定统计量
5.明确要检验的指标，是平均值，是方差，还是比例
6.确定零假设和备择假设
7.样本量计算
根据确定的统计量指标，选择合适的假设检验方法进行结论验证，如T检验，Z检验，F检验，卡方检验等。
8.检验策略、分组策略选择
•A组：下单推荐页前12个推荐，9个C类店铺商品
•B组：下单推荐页前12个推荐，6个C类店铺商品
•C组：下单推荐页前12个推荐，3个C类店铺商品
•D组：不干预（对照组）
9.统计检验结果
•通过统计量及统计量的P值来观测。
•通过样本量分布和显著性水平来确定拒绝域和接受域，从而拒绝或者接受结果。
10.业务决策
11.AB测试的条件的时候，如何解决问题
•没有系统：没有灰度发布系统，无法给不同用户发送不同版本。可以考虑手动进行分组，然后进行线下试验，或者手动给不同用户发送不同的版本；
•用户量不够：无法达到最小样本量。可以减少实验条件，或者重新设计实验；如果是统计量比例，可以延长实验周期；如果是小众用户，可以考虑配对样本T检验。
•时间成本高：如果是一个月度以上的实验，时间成本太高。可以研究以日为周期或周为周期对月度的影响，然后进行日实验或周实验。
流程三
本质上是一个：两总体假设检验问题，要检验A、B两个版本是一样，还是有所区别。和之前介绍的单总体假设检验一样，两总体假设检验，也分步骤：
•第一步：明确要检验的A、B两个对象
•第二步：明确要检验的指标，是平均值，还是比例
•第三步：根据检验目的，给出原假设/备选假设户，可以考虑配对样本T检验。
•第四步：根据要检验的指标，选择检验统计量
时间成本高：如果是一个月度以上的实验，时间成本太高。可以研究以日为周期或周为周期对月度的影响，然后进行日实验或周实验。
版权声明：本文为CSDN博主「画扇落汗」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：
限 时 特 惠： 本站每日持续更新海量各大内部创业教程，一年会员只需98元，全站资源免费下载 点击查看详情
站 长 微 信： muyang-0410
