你一定想问，A/B测试不就是个实验法吗？那科技大厂的A/B测试到底厉害在哪里？

要搞清这一点，你一定要区分清两个概念：

1. 企业中得以大规模执行A/B测试的系统和流程

2. 那些基础的、你可以在第三方软件中、靠简单的几下点击就能执行的A/B测试程序（比如Optimizely、VWO、Google Experiments、Adobe Target、Qubit等等）

同样重要的是分解OEC的内容并追踪它们，因为它们通常提供了一个想法之所以成功的原因。例如，如果点击次数是OEC不可或缺的一部分，那么衡量页面里的哪个部分被点击就非常有必要。查看不同的衡量标准是至关重要大多数声称自己会A/B测试、或者声称A/B测试很简单的人，基本只做过2，并且不知道1的存在。

基础的A/B测试主要是聚焦于一些用户体验的改善，我们称为UX（user experience）。你可能是改动了网站或应用上的某个元素，测试这种改变是否更好地促使你的用户达成你想看到的商业目的。就算是这种基础的A/B测试，也并不是所有从业人员都做得很好的。它需要你有扎实的统计基础。否则，你也只是有过A/B测试的“执行经验”（更残酷的说法是：简单的点击软件按钮的经验），而并非真的会A/B测试。

那大规模的A/B测试系统到底是什么呢？

你有没有听说过江湖上流传着这样一段话：

“亚马逊每年都要做超过1 万个A/B 测试；谷歌则有10 万个之多；当你访问Facebook的页面时，你已经同时身处10 个A/B 测试之中了”

所以，同时可以向大规模的用户做大量的A/B测试、公司里盛行统治地位的测试文化的公司，都是需要搭建大规模的A/B测试内部平台的。而几乎所有你向往的互联网科技公司，都属于这个范畴——它们都需要高度客制化的技术支持（因为每个公司的需求不同）。

1. 大规模的A/B测试意味着平台的搭建

首先，你需要建造一个平台整合到开发中，这个平台必须能让测试变得简单，让那些负责设计实验和跑测试的人能够轻松使用。绝大多数的第三方商业A/B测试软件，都是没办法完全符合这些大公司的需求的。

其次，搭建A/B测试平台还意味着你要深刻地了解商业需求和用户体验的核心。

比如，Intuit建造了一个实验平台，然后要把它整合到它整个生态产品中，从小企业到个人理财，每个产品都要适应。并同时要把敏感的用户数据存在公司内部（而不是存在外面的平台）。这是一个相当复杂的过程。现在Intuit的A/B测试平台已经扩展到能够服务120个app，能够处理十亿（billion）级别的API呼叫。而且他们也已经把这整个项目的框架开源到了网上供其他公司参考。

2. 大规模的A/B测试需要从业者深刻把握统计

在评价一个分析师专业程度时，现在有了一个时髦的词汇叫做：统计成熟度。当然如果你不是个统计实力派也不用因此沮丧，因为即使是专家也有头疼的时候。最受欢迎的A/B测试平台Optimizely也曾经在2015年的时候宣布它要改写系统里的统计方法来避免平台犯某类常见的统计错误。

当你在一个大型的复杂的网站上测试数十个A/B测试时，测试和测试之间是非常有可能互相干扰的。所以企业内大规模的A/B测试平台还需要足够聪明地识别测试之间有什么互相影响。

3. 大规模的A/B测试需要从业者深度了解用户细分

A/B测试通常聚焦于具体的用户细分。首先，就单单在同意核心细分人群的定义上就可能引发一场公司内的大争论。营销、产品、客服都对哪个细分更核心、如何定义这个细分有着根深蒂固的见解。

其次，A/B测试平台应该要允许用户来根据线上线下行为数据来开发他们自己的细分。平台需要能够意识到这些不同的细分并且让操作者很容易地选择不同的细分组合来执行实验。

4. 大规模的A/B测试意味着要在全公司内展开培训

当企业里不只是数据部门的人能做A/B测试，而是剩余的其他人也能做A/B测试时，这才最大的胜利。但是，由于A/B测试必须正确地做才会有效，所以大规模的A/B测试平台必须能够指导大家如何规范操作，而那些使用平台的人也必须被培训才能得到有效的结果。

首先公司需要买账A/B测试的价值，然后实验操作与流程需要产品化，最后一大堆员工需要指导如何正确使用这个产品。引进A/B测试的概念可能会打破现有的权力结构，可能会受到那些不太对数据感冒的管理层的排斥。一位谷歌的朋友告诉我，“谷歌没有庞大的中层管理层，因为公司有足够的数据来进行决策取代了中层管理的作用。”很少有公司能够在引进数据驱动决策的方案时不受到阻碍的。

以上4点原因解释了为什么A/B测试虽然“简单”，但在各大科技公司的找人门槛上却异常突出A/B测试的权重，以至于Facebook的面试里A/B测试题的通过率只有3%。

如果你想获得专业的A/B测试培训，使用百万量级的原始数据，进行企业级A/B测试项目的实操的话，千万不要错过MarTechApe的《A/B测试企业级实战训练营》第三期！

《A/B测试企业级实战训练营》以真实商业场景中的复杂A/B测试问题为项目背景，让学员在两个月的时间里搭建完整的A/B测试流程。在过去开办的两期《训练营》中，我们为顶尖科技公司输送数据能力强、实验经验丰富、统计基础扎实的数据人才。不论你本来是什么背景，都能通过这门课程，打开盛行“测试文化”的互联网高科技公司的大门！

以下为往期学员的战绩榜：

今天，MarTechApe《A/B测试企业级实战训练营》正式开启第3期报名！
每一期训练营，我们只招收20名学生。先到先得，遵循阶梯价位，优惠逐额递减，越早报名越优惠！

真枪实弹的A/B测试项目实操，百万量级真实数据+五大应用案例，从零学会A/B测试的里里外外！
为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！
从0到100真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。
经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！
深度学习A/B测试实战中常见的测试陷阱及避免方法。
牢固掌握公司里A/B测试项目中的实际SQL与Python应用，为A/B测试搭建数据库、清理数据、创建数据集。
学会用Python自动化实现A/B测试，为你的老板提高100%的工作效率！
接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。
各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！
专业的Bootcamp经历简历模版与认证证书，可以晒到LinkedIn等求职网站，大大提高面试邀请率！
福利升级：训练营以往只内推成功从训练营中毕业的学生。但在疫情期间，所有A/B测试实战训练营学员，均可获得全职或实习岗位的内推机会！

Emma老师

美国知名电商Wayfair高级商业分析专家
拥有多年电商A/B测试实战经验，及新人教授经验
精通Advanced SQL, Python等数据分析工具
设计推出的A/B测试，为公司带来上千万美元的收入

整个Bootcamp历时8周，每周3小时课程，共计24小时课时。
周末线上实时授课，课后完成老师布置的作业，助教团队在班级群内随时答疑，直播录像永久回放。
五大课程模块：
- A/B测试商业训练（案例、变量设计、测试计划）
- A/B测试数据技能训练（数据源概况、SQL数据库建立、Python自动化分析）
- A/B测试实验设计训练（A/B测试 vs 准实验、实验步骤、真实商业环境中的实验挑战）
- A/B测试统计训练（统计分析、深度解析）
- A/B测试面试训练
课程内容涵盖了A/B测试在各大互联网科技公司中的完整工作流程：
- A/B测试统计基础与应用场景
- A/B测试实验设计
- A/B测试假设检验、变量选择、流量计算与实验周期计算
- A/B测试各类应用场景中的实验变体与前后测实战分析
- 用SQL与Python完成A/B测试项目实战
- A/B测试结果解读与高阶统计
- 结果展示
每位学员将有一套亲自做的A/B测试成果作品
每位学员获得A/B测试面试真题解题辅导
结课后，每位学员获得提升简历的Industry Project Experience完美描述，所有学员获得内推机会！