admin管理员组

文章数量:1621107

第一部分 了解AB实验

一、AB实验基本原理

1.什么是AB测试

最早的AB测试源于生物医学的双盲测试。将试验对象完全随机分成实验组（服用待检测疗效的药品）和对照组（安慰剂），且试验对象本身不知道自己是属于哪个组，只有评估人员知道；经过一段时间，分析比较两组患者的恢复情况，从而验证新药剂是否达到预期效果。

因为AB实验被引入互联网公司后，应用场景主要是大规模的在线测试，所以也被称作在线AB实验或者在线对照实验。

2.AB测试的核心价值

（1）定性因果：验证因果关系（判断策略带来的效果是正向/负向/无影响）

（2）定量增长：量化策略效果

注：AB实验被广泛用于验证因果关系，也是目前已知的快速、低成本验证因果关系最好的方法。其他大部分数据分析手段，如常见的回归分析、关联分析以及机器学习模型，主要表明的是一种相关性。

3.AB测试的关键特性

（1）先验性：小流量预先获得效果评估

（小样本推断总体，AB实验的先验性主要是指通过小流量的实验方式预先获得实验结果，而不需要等到全量发布。）

（2）同期性：同一个实验对象可以有多个实验并行开展

同期性涉及的核心原理是正交分层机制

4.AB测试的核心要素

（1）实验参与对象：这些参与实验的用户组是从总体用户中随机抽样出来的，只占总体的一小部分，而且不同组用户的属性、构成成分是相同或相似的。

（2）实验控制参数：实验变量，如不同版本，不同方案等

（3）实验评估指标：用于评估实验结果的各项指标数据

5.AB实验的行业应用

2000年，Google首次将传统AB实验引入到互联网产品改进评估中，用于测试搜索结果页展示多少搜索结果更合适。虽然这次AB实验因为搜索结果加载速度的问题失败了，但是这次AB实验是一个里程碑，标志着在线AB实验的诞生。从那以后，AB实验被广泛应用于互联网公司的优化迭代。据统计，Airbnb（市值1000亿美元）每周有超过1000个实验，Facebook（市值10000亿美元）每天在线的实验超过10000个。一个公司在线AB实验的数量也在一定程度上反映了这个公司的规模、数据驱动文化的成熟度。

6.AB实验案例

AB实验的案例很多，举几个案例：

短视频软件“抖音”：

（1）AB测试决定名字

抖音是字节跳动公司旗下一款创意短视频社交软件。“抖音”名字的由来，其实是AB实验的结果。当年字节跳动做短视频产品时，有很多候选名字，字节跳动将产品原型起成不同的名字、使用不同的Logo，在应用商店做AB实验，在预算、位置等条件保持一致的情况下，测算用户对产品名字的关注度、下载转化率等指标表现。AB实验帮助字节得到了名字的排名，当时“抖音”排到了第一。后来结合其更符合长期认知、更能体现Logo形态的特点，​“抖音”之名就此确定。

（2）默认视频推荐流

进入抖音App时，可以看到3个视频推荐流，一个是基于位置的“同城”标签栏，一个是基于关注关系的“关注”标签栏，另一个是基于兴趣推荐的“推荐”标签栏。把哪个标签栏作为用户进入时的默认内容，用户体验更好，产品的核心指标表现更好呢？通过AB实验的方式，对照组用户默认进入“关注”​、实验组1的用户默认进入“同城”​、实验组2的用户默认进入“推荐”​，最后对比各组的实验数据，选出用户在哪个组的指标表现更好。

第二部分 深入AB实验（关键问题和统计学原理）

本文标签： 利器体系测试科学知识

版权声明：本文标题：知识体系_数据分析挖掘_99_AB测试(科学归因与增长利器） 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728830222a1175657.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。