全球最大图片交易网站Shutterstock是怎么做A/B测试的？

现代科技公司已经意识到数据其实就是他们的产品。无论你卖的是服务、产品还是内容，你真正做的就是为客户创造价值，而衡量方式就是分析每次客户与产品的互动数据。但最好的数据驱动公司不只是被动地存储和分析数据，它们还会通过实验主动生成可操作的数据。从数据中获取价值的秘诀是进行测试，如果你想发展在线业务，那么实施稳定且有效的A/B测试是非常必要的。

本文将以美国Shutterstock（全球最大图片交易网站）为例，带你了解A/B测试如何帮助提升业务转化率、怎样在团队中有效推进A/B测试。

Shutterstock公司提供数字图像服务，包括客户在视觉传播中使用的高质量照片、插图和视频。迄今为止，Shutterstock拥有超过10亿下载量以及100多万名投稿者，网站每秒能提供超过3次下载，这是一个及其庞大的数据量。而在Shutterstock，技术人员测试几乎所有网站元素：文字及链接颜色，对搜索结果进行排名的算法，语言检测功能，下载的可用性、定价、视频播放设计，以及客户可以在Shutterstock网站上能看到的所有内容（和很多客户看不到的内容）。

这意味着从统计角度讲，Shutterstock比市场上的其他任何人都更了解他们的客户。这也是他们最重要的竞争优势—可以比用户数据较少的公司更快地进行更多具有统计显著性的实验。

Shutterstock是怎么做A/B测试的？

搜索结果页面是Shutterstock网站上访问量最高的页面之一。几年前，我们开始尝试在“实验室”区域中使用像马赛克一样的陈列方式来显示搜索结果界面，该“实验室”是用来快速测试并获得用户反馈的实验平台。因为在定性测试中，我们发现客户非常喜欢马赛克网格搜索的设计，所以我们接下来对这个设计进行了正式的A/B测试。

A/B 测试是一种产品优化的方法，为同一个优化目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，同时另一部分用户使用 B 方案，统计并对比不同方案的转化率、点击量、留存率等指标，以判断不同方案的优劣并进行决策。如果你是第一次听说A/B测试，那么可以阅读我们曾经发表的这篇文章来了解A/B测试的原理。

以下是实验的一些细节以及实验后的新发现：

● 图像尺寸（Image Size）：我们测试了不同的图像尺寸以找到屏幕显示效果最佳的像素数

● 新客户（New Customer）：我们观察网站转化率在网站新访客中是否会增加。只看新访客是因为，现有的客户可能会反感网站的改变，但新用户不受改变的影响。

● 视口大小（Viewport size）：跟踪视口大小（指客户使用的屏幕大小）是否会影响转化率

● 水印（Watermark）：测试图像有水印vs.无水印：包含水印是否会分散客户注意力

● 悬停(Hover State)：当客户在特定图像上暂停时，对悬停的行为进行测试以判断其影响

在进行实验之前，人们凭直觉认为删除图像上的水印会提高网站转换率，因为页面上的视觉混乱会减少。然而在测试中，我们发现删除水印会产生相反的效果—网站转换率只减不增。这个例子可以解释为什么我们需要A/B测试，如果凭借产品直觉去做产品决策，结果很有可能是事与愿违。

Shutterstock的测试文化

A/B测试最明显的优势就是可以改善产品并且获得业务增长，而企业中浓厚的A/B测试氛围还可以带来其他的间接好处。

首先，在更强的A/B测试氛围下工作你可以不凡事以领导意志为转移。A/B测试是一种不依赖任何人的直觉就能弄清真相以及进行深入决策的可靠方法。在Shutterstock，如果一位高管在会议上有了一个想法，回答很简单:“让我们来测试一下吧。”

其次，你的更多想法将会以A/B测试的形式出现，而不是被扼杀在白板和演讲上。当实验一个想法很简单时，你所在的团队会直接讨论进行A/B测试的步骤，而不是以抽象的方式谈论那些没有出现，也不知道会不会出现的结果。这样做的好处是所有人都充满干劲，因为人人都有机会将自己的想法付诸实践。

当然，A/B测试文化也有它不好的地方：实验团队有时会错过下一步的重大创新。因为他们把注意力局限在那些可以在实验中快速出结果的“小改进”中。然而，我们在经过大量测试后发现，一些短期测试中出现负面结果的改进方案从长期来看结果会好很多，因为短期的负面结果主要是由于用户厌恶变化导致的。

此外，制定A/B测试策略很难，但对测试进行策略思考可以帮助团队朝着新的方向发展。加之目前互联网流量红利期逐渐结束，获客成本增加，如果想继续获得业务增长，目前最有效的办法就是落地A/B测试、以数据驱动增长这一路径。行业发展趋势决定所有团队都会慢慢迁移到用科学的实验进行增长这条路上来，即使你现在的团队推进A/B测试困难，但是相信在不远的将来，A/B测试将是最重要的产品增长驱动力。

Shutterstock内部进行了一次有意义的讨论，技术、产品和营销团队分别把自己最喜欢的公司放在这个范围内，然后讨论他们认为Shutterstock现在在哪里，以后想要它在哪里。最终Shutterstock所在的位置就是大家心中最优化的结果。

将实验付诸实践

以下是6条可以帮助你通过A/B测试创造增长的建议：

1. 保持较小的团队规模

执行A/B测试所需要的是一个3-4人的团队，由工程师、设计师/前端开发人员和业务分析师(或产品负责人)组成。较小的团队规模可以确保设计人员能够反复地思考并执行测试，并且确保产品人员能够在测试发生时分析测试，尽量避免去其他部门查看测试结果。

2. 衡量指标：选择一个，参考多个

许多非常聪明的人都被A/B测试的结果所迷惑。在查看A/B测试实验结果时，首先需要判断这次测试是否有优胜版本，劣势版本或者是无法确定。而确保优胜版本是优胜的除了需要关注一个核心指标还需要参考其他多项指标，因为一项指标往往不能反映全部情况，而需要从单一指标演进为多维度指标体系，系统跟踪测试对产品的多方面影响。

3. 去平均

A/B测试对于特定的客户群体（例如新客户vs.现有客户）比平均群体的表现更好。测试对于特定的地理位置、语言甚至用户角色也可能表现得更好。具体方法是在测试过程中，调节测试版本之间的流量分配比例。

4. 测试微小的改变

不要花几个月来制定一个测试，并且当它不起作用的时候就放弃它。最好是能根据假设，找到能做的最小的开发量来创建一个测试：一次一个变量是最好的。

5.重新测试

这里需要大家注意，不是所有的实验都会被证明对指标增长有显著效果，如果是这样，我们就没有必要进行实验了。如果遇到这种情况，需要告诉自己的团队成员不要灰心，正因为某些实验被证明无效，我们才会找到有效的增长方式。实验失败是大概率事件，我们最好的办法就是增加测试频率、持续测试，而非浅尝辄止，又回到经验主义决策的老路上。

6. 不要忽略性能

性能测试应该被视为设计和优化的一部分。即使增加一个小的页面加载，也可能毁掉原本能被证明有效的测试设计。页面重量和加载应该与其他测试一起测试，毕竟有很多优秀的测试设计只是因为性能问题而失败。

如果你想获得在真实商业场景中实操A/B测试的工业界项目经历，那么千万别错过MarTechApe的《A/B测试企业级实战训练营》第三期！

我们以真实商业场景中的复杂A/B测试问题为项目背景，让学员在两个月的时间里，使用百万量级原始数据，搭建完整的A/B测试流程。在过去开办的两期《训练营》中，我们为顶尖科技公司输送数据能力强、实验经验丰富、统计基础扎实的数据人才。不论你本来是什么背景，都能通过这门课程，打开盛行“测试文化”的互联网高科技公司的大门！

以下为往期学员的战绩榜：

《A/B Testing Bootcamp》往期学员拿到的面试机会以及全职工作OFFER包括Facebook、Amazon、TikTok、Viagogo、GSK、Walmart、Pinterest、Chegg、Wish、Twitch、Plymouth Rock、Nintendo等互联网科技公司。

今天，MarTechApe《A/B测试企业级实战训练营》正式开启第3期报名！
每一期训练营，我们只招收20名学生。先到先得，遵循阶梯价位，优惠逐额递减，越早报名越优惠！

真枪实弹的A/B测试项目实操，百万量级真实数据+五大应用案例，从零学会A/B测试的里里外外！
为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！
从0到100真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。
经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！
深度学习A/B测试实战中常见的测试陷阱及避免方法。
牢固掌握公司里A/B测试项目中的实际SQL与Python应用，为A/B测试搭建数据库、清理数据、创建数据集。
学会用Python自动化实现A/B测试，为你的老板提高100%的工作效率！
接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。
各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！
专业的Bootcamp经历简历模版与认证证书，可以晒到LinkedIn等求职网站，大大提高面试邀请率！
福利升级：训练营以往只内推成功从训练营中毕业的学生。但在疫情期间，所有A/B测试实战训练营学员，均可获得全职或实习岗位的内推机会！

Emma老师

美国知名电商Wayfair高级商业分析专家
拥有多年电商A/B测试实战经验，及新人教授经验
精通Advanced SQL, Python等数据分析工具
设计推出的A/B测试，为公司带来上千万美元的收入

Emma老师对学员知无不言，有问必答！无论是面试中遇到的问题，还是工作中遇到的困惑。

整个Bootcamp历时8周，每周3小时课程，共计24小时课时。
周末线上实时授课，课后完成老师布置的作业，助教团队在班级群内随时答疑，直播录像永久回放。
五大课程模块：
- A/B测试商业训练（案例、变量设计、测试计划）
- A/B测试数据技能训练（数据源概况、SQL数据库建立、Python自动化分析）
- A/B测试实验设计训练（A/B测试 vs 准实验、实验步骤、真实商业环境中的实验挑战）
- A/B测试统计训练（统计分析、深度解析）
- A/B测试面试训练
课程内容涵盖了A/B测试在各大互联网科技公司中的完整工作流程：
- A/B测试统计基础与应用场景
- A/B测试实验设计
- A/B测试假设检验、变量选择、流量计算与实验周期计算
- A/B测试各类应用场景中的实验变体与前后测实战分析
- 用SQL与Python完成A/B测试项目实战
- A/B测试结果解读与高阶统计
- 结果展示
每位学员将有一套亲自做的A/B测试成果作品
每位学员获得A/B测试面试真题解题辅导
结课后，每位学员获得提升简历的Industry Project Experience完美描述，所有学员获得内推机会！

1. A/B测试商业训练

了解A/B测试在顶流科技公司中的各类应用场景
了解A/B测试适用的商业问题与它的局限
了解科技公司产品团队如何使用A/B测试
面对商业问题，如何设计有效的假设？
如何制定A/B测试的实验计划与执行框架？

2. A/B测试数据技能

搭建一个真实的A/B测试实验数据库
了解A/B测试中常面临的数据问题
用SQL对数据进行清洗与转制，完成样本选取、组别分配、变量选取等实验步骤，为A/B测试做好数据准备
用Python搭建A/B测试分析流程

学员在项目中重点使用SQL与Python，全方位了解A/B测试中涉及的数据库搭建、样本选取、实验组与测试组分配、变量选取等数据分析步骤。并且充分掌握用Python搭建A/B测试结果分析流程，实现A/B测试自动化，对真实工作中的A/B测试分析了如指掌。简而言之，项目后，你不仅将牢固掌握SQL与Python等最热门的数据分析软件，还将成为真正的A/B测试技术流，完全掌握A/B测试这项数据分析工作中最重要的技能。

3. A/B测试实验设计

充分了解A/B测试的实验步骤
设立零假设与被择假设
确认实验指标，设计实验变量
根据指标类型确认统计检验方法
估算样本量，确定实验周期
置信区间与统计功效
A/B测试中的各类偏差
样本量不够或其他实验条件不满足时的实验设计
了解准实验与A/B测试的应用区别
为项目案例设计A/B测试实验

学员在项目中将透彻学习实验方法与实验设计。在这个环节中，将研究如何制定实验方案，以提高实验效率，缩小随机误差的影响，并使实验结果能有效地进行统计分析。学习在工作场景中如何用A/B测试等实验来提高用户激活/活跃/留存等关键的产品指标，提升产品功能表现，真正理解A/B测试的商业价值与业务地位。

4. A/B测试统计训练