面试官最爱问的16道A/B测试面试题
或许你和很多人一样都是刚开始接触A/B测试的新手，对A/B测试的实际操作有很多疑问。我们在Linkedin和其他社交网站上收集了有关A/B测试最常见的16个问题，希望可以帮你答疑解惑，让你少走一些弯路。
1.什么时候该用A/B测试？什么时候不该用？
A / B测试失败往往源自不够明确的测试目标，因此你必须对测试的对象有清楚的认知。A / B测试可以用来验证假设，比如向landing page添加图片是否会提高转化率，用户更倾向于点击红色按钮还是蓝色按钮或者在标题中强调限时促销会带来什么样的影响等等。上述这些测试的对象都可以很容易被量化。但当假设过于模糊时，比如测试有多个元素的两个完全不同的设计，A / B测试就难以取得好的成效。除非两个版本中的一个取得压倒性优势，否则测试完全不同的设计不利于得出有力的结论，并且难以定位导致转化率变高的真正原因。
2.A/B测试几个版本比较合适？
假设经过一场brainstorming，你和你的团队对于landing page的设计提出了四个设想。你可能想一口气同时测试四个版本来找出最优的版本，但是如上文所说，如果你一次测试多种元素就不是真正的A / B测试， 反而还会使测试结果更加混乱。A / B测试的优点在于其结果简单明了。在这种情况下，我们建议分别运行两个测试，然后再进行第二次测试以比较出最优版本。
3.什么是多变量测试，它和A/B测试有什么区别？
A / B测试通常用于优化设计，测试单个元素改变的影响或者验证某一假设（如影响转化率的因素）。而多变量测试（multivariate testing）往往会经历更长的时间，且用于较小的更改。多元变量测试会选取网站的许多元素，并测试这些元素的所有可能组合，以进行持续的优化。
Source：Condorly
如果你的需求是在短时间内获得有意义的结果，A / B测试是一种很好的测试方法。页面之间的更改非常明显，因此更容易判断哪个页面最有效。如果你的网站没有足够的流量，A/B测试也是一种很好的选择。多变量测试中要测试多个变量，因此一个高流量的网站才能通过多变量测试获得有意义的结果。
如果你有足够的网站流量，多变量测试可以用于对页面进行细微的更改，并了解某些元素直接如何相互影响。
4.什么是零假设（null hypothesis）?
零假设（null hypothesis）是一个统计学上的概念，指结果的任何差异都是抽样误差或标准偏差导致的假设。让我们用抛硬币来举个例子。尽管硬币落在正面的统计学几率是50/50，但有时实际抛硬币的结果可能是51/49。但是，掷硬币的次数越多，硬币落在正面的比例就越接近50/50。在统计学中，证明或否定假设的方式是拒绝零假设。拒绝零假设即将实验进行足够多次，从而排除偶然结果的影响。在统计学上也被称为达到统计意义。
5.进行A/B测试的页面至少要有多少访问量？
在测试A / B测试结果之前，你必须确保测试已经达到统计学上的显著性（statistical significance），即有95%或以上的置信度（confidence level）。
许多A / B测试工具都内置了统计显着性。如果没有，你也可以参考互联网上的其他计算工具，如HubSpot。
6.为什么测试的两个版本访问量不是50/50？
有时在A / B测试期间，两个版本的流量并不完全等同。 这不等于测试有任何问题，只是受到了随机因素的影响。 还是以抛硬币为例，抛到正反面的几率是50/50，但也会连续抛到三次反面。 随着访问流量的增加，该数字应接近50/50。
历史因素的影响：外界发生了某些事件，影响了测试结果，从而导致不利的bias。 工具性影响：用于测试的软件中的错误会影响测试结果。
电子邮件：电子邮件测试变量包括邮件标题，个性化功能和发件人姓名等。 PPC：对于付费搜索广告，你可以测试标题，正文，链接文本或关键字。 CTA：对于CTA可以测试文字内容，形状，颜色或页面上的位置。
1 你将获得
真枪实弹的A/B测试项目实操，真实数据+五大应用案例，从零学会A/B测试的里里外外！
为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！
从0到100真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。
经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！
深度学习A/B测试实战中常见的测试陷阱及避免方法。
牢固掌握公司里A/B测试项目中的实际SQL应用，为A/B测试搭建数据库、清理数据、创建数据集。
学会用Python自动化实现A/B测试，为你的老板提高100%的工作效率！
接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。
对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！
各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。
2 训练营老师介绍
Emma老师
美国知名电商Wayfair高级商业分析专家
拥有多年电商A/B测试实战经验，及新人教授经验
精通Advanced SQL, Python等数据分析工具
设计推出的A/B测试，为公司带来上千万美元的收入
3 报名方式
长按二维码，添加小助手为好友，回复“AB”，即可报名《A/B测试实战训练营》：
第1名～第4名：999美元 第5名～第8名：1099美元 第9名～第11名：1199美元 第12名～第15名：1299美元 第16名～第17名：1399美元 第18名：1499美元 第19名：1599美元 第20名：1699美元（原价）
前往“发现”-“看一看”浏览“朋友在看”