从充满了各种八、九十年代复古文化的《怪奇物语》到科幻剧集《黑镜》，Netflix这个爆款制造机，在各种类型的电视剧上面都大放异彩，很多观众都不由感叹：网飞出品，必属精品！但不知道大家有没有考虑过这个问题，Netflix是怎么样一步步将用户体验和内容精选做到最好的呢？
Netflix成功的很大一部分原因是创建出直观、有趣且有意义的用户体验，从而让用户能尽快找到并爱上Netflix提供的内容。你可能听说过一条90秒定律，就是如果在90秒内没有引起观众或者读者的兴趣，那么该观众或者读者可能会就此流失。没有引起他们注意的原因可能是因为你的内容不够精彩，还有一种可能是你的内容可以，但宣传的方式却不够吸引人，以至于未能向观众证明该内容值得一看。
Netflix非常清楚这一点，那么，怎样才能更容易且快速地引起会员用户对内容的兴趣呢？
俗话说，一图胜千字。人脑可以在短短13毫秒内处理图像，而与之相比，处理文本所花的时间要长得多。一张图片通过简单的语言和多样的色彩，刺激了人的感官又传达了信息。对于Netflix的产品来说，公司必须要注重产品的视觉效果才能充分达到吸引观众注意、改善用户体验的目的。
今天这篇文章揭示了Netflix极具开创性的一系列A/B测试，通过这些测试来完善图像选择，从而提高会员参与度。这些测试的目的是：1. 识别能够更快驱动会员发现并点击他们想看的内容的题图
2. 确保会员跟每部作品的互动，以及在Netflix上的观看总时长都有所增加
3. 确保人们在评估多张题图效果的时候不会歪曲作品内容
需要说明的是，这一系列测试方法与在测试产品其他方面相比并没有什么不同——都是通过不断积累洞察，建立越来越复杂的假设，并不懈地测试各种方式，以建立更好的会员体验。
当会员在浏览Netflix网站首页的时候，一般会浏览作品的几个详细信息，包括题图（如下图在Netflix热门推荐中被选中的“Narcos缉毒特警”这张鼻孔流血的图片）、标题（Narcos）、年龄分级（TV-MA）、内容概要和评价星级等。通过各种研究，Netflix测试团队发现会员首先会关注题图，然后决定是否继续了解其他内容。考虑到这一点，Netflix测试团队希望能通过改善会员第一眼的体验来提高作品点击率。因此，他们与创意服务团队一同合作，建立了一系列的A/B测试。整体来讲，Netflix的A/B测试理念是由简到繁，逐步建立，使用数据来驱动决策并对失败快速回应以获取经验教训。当进行复杂测试（例如题图选择）时，就可以尝试增加越来越严格和复杂的步骤来证明假设。
Netflix这系列最早的测试之一是从The Short Game《人小志气高》这部电影开始的。电影主要讲述了几个年轻孩子在高尔夫球场上相互竞争的励志故事。但当你看到最开始的题图时，可能不会很快意识到这部电影的主角是一群孩子，也不会意识到主题是关于高尔夫球。
因此，团队先是创建了一个非常简单的A/B测试。在每个实验组里的会员会看到代表同一部电影的不同题图。然后衡量观众参与度，衡量指标包括点击率、合计播放时长、弹出率、内容观看率（会员看完了一部电影或电视剧的多少）等。试验的结果显示改变题图后，该影片的观众量与参与度都有了明显的提升，也说明了Netflix会员对于这样的视觉变化其实非常敏感。
对Netflix来说，A/B测试的结果为他们提供了深入了解用户的机会。通过这个机会，Netflix可以更好地了解到会员的取向和喜好，帮助会员找到他们想看的故事类型以提高用户体验。为此，Netflix的测试团队开展了更大型的A/B测试，想要知道改变题图的方式是否会对更大范围的作品集产生类似的积极影响。
对测试一结果持怀疑态度的人可能会认为，该团队的做法只是将原本会看其他电影的会员吸引过来看了这部电影，而花在Netflix上观看的总时长可能并没有提高。于是，Netflix开始着手于更大的测试——实验对象不仅包括热门影片，也涉及到小众影片，以证明通过为大范围影片选择最佳题图，可以提高大量会员在Netflix上观看影片的总时间。
这个测试被称为“探索开发”测试，由“探索”和“开发”两部分构成。“探索”测试测量了同一部影片不同题图的观众参与度，而“开发”测试则利用“探索”测试中表现最好的题图来检验是否能提高未来用户的整体观看时长。
其中，Netflix利用参与“探索”测试的会员人数，测量出了每部作品不同题图变体的点击率。点击率的计算是通过将播放次数（这里排除了只播放了很短时间的次数）除以投放次数（展示在首页上的次数）所得出的。在具体计算的时候也有一些因素需要考虑：1. 实验中是应该包含收看时长仅为几分钟的会员，还是只包括收看了一整集影片或节目的会员呢？
2. 点击率应该按照国家来进行计算，还是按地区？或是全球？
下图是两个测试（“探索”和“开发”）如何联系的一个形象化摘要：
这项A/B测试的结果很明确——通过测试多种题图变体，Netflix显著提高了作品的点击率（观看率），也增加了总的播放时间。此A/B测试结果证明了Netflix更换题图不是仅仅将会员观看一部影片的时间转移到去观看另一部。给会员展示更相关的题图能够驱使他们观看更多之前并未发现的影片。同时该测试也证明了换上更优的题图没有负面地影响到内容观看率等指标。Netflix后续还做了几个月的纵向A/B测试，证明了周期性地改变影片题图并不会比找到最佳题图表现更好。
Netflix的测试团队在做此实验时，其实也遇到了一些技术工程上的挑战。为了能在任何设备上大规模、长时间地持续收集数据，他们需要：1. 准确收集会员数据：计算观看率的关键前提是要清楚地知道有多少影片被显示和点击。这意味着Netflix需要严格追踪所展示的图像，以及用户是否点击和观看（即使只是短短的一秒）。每一个类似的数据都需要被周期性地记录并传送到Netflix的用户数据中，用于以后的分析。因而，Netflix要尽力保证数据的低流失率，做到稳定持续的数据收集。
2. 稳定的题图表达系统：Netflix的团队需要经常对题图进行修改，因而如何创建出一个让人印象深刻、拥有独特表达的题图系统也是一个具有挑战性的问题。
上图是一个很清晰的题图创建过程 —— 包括了背景画面，一个本土化的标题处理，一个可更改的新剧情标记，还有一个代表原创内容的Netflix经典标志。
（这两幅图图片完全一样，仅对标题做了本土化处理 ）
Netflix创建了一个系统，能够自动将题图中的不同元素进行组合。即使图片的大小、本土化标题等都存在着差异，但只要它们拥有相同的背景画面，就被归为同一ID下。Netflix通过ID进行追踪，这样即使有着不同的本土化内容，也可以整合全球会员的数据。
虽然前两次实验成功了，但为了提高效率，Netflix开始思考这样一个问题：是否有更快速且同样合理的A/B测试方式来衡量题图的表现，可以通过更少的随机选取的会员，在更短的时间内帮助团队找到每部影片最适合的题图？
第二次测试虽然全面，但是也有弊端。在测试二中，其实浪费了很多展示资源，因为每一种题图，即使是已知表现不好的，都会得到持续的展示。同时，虽然我们能够比较精确地测量一些流行的影片，但是对于小众一些的，因为观看人数少，可能就无法准确衡量，需要通过增加展示的次数，比如增加到两千万（流行影片可能只要两百万次就能收集足够的用户数量），我们才有可能知道小众影片的题图表现如何。这样一来就浪费了很多展示资源。
因此，为了改进测试，对于流行的影片，可以检验10种不同的题图，而对于小众影片，可能就只需要2种。
在测试三中，Netflix完善了测试，他们将所有探索测试阶段的会员都集合为同一组，随机对会员和影片题图进行配对，即对每个影片的每种题图进行A/B测试，分配直接发生在影片层面。
这个新测试的设计能让Netflix测试团队相比在测试二中更快得到测试结果。因为最先的N个用户，比如一百万人，被用来评估一部影片不同题图变体的表现，在一个持续性的探索测试中（通常是几天时间）就能确定最佳题图。这之后，就展示给所有人这张图。
下面是一些Netflix用于追踪相关题图表现的工具里的截图：《驯龙高手：飞跃边界》有箭头标志的两张题图是表现最好的。有意思的是，图二和图三中关于描绘坏人的题图点击率高过其他题图。
在《坚强的我》这个Netflix的自制喜剧中，测试团队发现在一系列图片里，表情丰富搞怪的面孔胜过单纯的微笑。
Netflix通过这一系列测试发现了最优图片中许多有趣的趋势—— 图片中有明显面部情绪，且该情绪传递出影片基调的类型往往能达到更好的效果。不过，最优封面在不同地区、国家也会有所差异。
选出最优题图的测试非常大地帮助提升了Netflix产品的用户体验，帮助会员更快地找到他们想看的内容，也对会员的兴趣和偏好有了进一步的了解。
其实不仅仅是Netflix，A/B测试对于其他平台（电商网站、新闻流量网站等）也有很大的影响。想要深入了解这方面的内容，就来报名MarTechApe联合美国名企内部营销科技专家用心打磨的《营销分析专项系列课程》吧！课程中不仅详细讲解企业内常用的A/B测试方法，还有营销归因模型、营销组合模型、增量模型、随机森林模型，一个专项横扫五大营销分析方法！赶紧来了解一下这套课程的具体信息吧！1. 全面理解营销分析各类前沿方法、应用场景，美国知名公司营销科技专家亲自授课
《营销分析专项系列课》由以下美国名企管理层执教：
- 苹果公司硅谷总部（前Ebay资深数据分析师），营销数据科学家
- 美国最大家具电商平台Wayfair，营销数据科学经理
这门专项系列课由5个模块组成，涵盖了5种应用最广泛的营销和商业分析方法：五大营销分析方法代表了Marketing Analytics领域最前沿的主流方法，是营销分析师/数据分析师为了测量营销效果必须掌握的重要方法和商业分析手段。2. 课程老师与课程大纲
在美国知名企业从业5-10年的营销分析、营销科技专家精心授课，每一位老师与他们教授的课程分别是：
3. 每课备有精心设计的课后作业，及时巩固课程内容
一门课程唯有通过作业才能完全掌握。《营销分析专项系列课程》每周都有老师精心设计的作业，作业类型包括：
精心设计的作业强调了课程重要知识点，在完成作业的过程中，帮助学员巩固对课程的掌握程度。
4. 学员提出的任何问题都能得到助教详细解答，及时解决难点。
5. 沉浸式学习体验，让网络课程更接近线下学习。防止课程囤积，助教督促完课
1). 班主任
来自Google美国的运营分析师会担任班主任，负责为所有学员规划学习进程，布置作业与截止日期。
2). 助教团
助教团的助教老师们会nice地提醒大家交作业，并进行作业答疑。
3). 作业
每周一次作业，将课程所学应用到新的案例中。花费时间15-30分钟。
4). 课程测试
每门课程历时两周（共5门课程）。在每门课程结束后，学员完成该课程的测试。
5). 专项大证书
当所有课程全部完成后，学员进行期末测试，获得70分（满分100分）以上的学员，就可以拿到Marketing Analytics营销分析这个专项的大证书：
6. 如何报名？
*我们提供标准Invoice，可用于企业报销
如果你曾购买过本专项中任意一门课程，请咨询小助手获得购买方式（如果你买的课程不在这五门之列，请勿扰）
小助手
Q & A
1. 如果我已经买过其中的某些课程怎么办？
完全没关系，我们考虑到了有不少用户已经单独购买过专项中的个别课程。但是我们有让你满意的解决方案！事实上，我们鼓励已经买过部分课程的同学来参与这个专项学习，尤其是买了课却还没有完课的同学。我们想让你看到自己认真上完课程后的改变！
请联系小助手购买课程：
2. 请问课程是在手机还是在桌面上观看？
所有学员既可以获得手机课程通道，又可以获得桌面课程通道！
如果你更喜欢在轻便的手机上学习，那当然可以使用手机登陆课程！
如果你身处海外，不满意跨境服务器的加载速度，不用担心，我们有网速无敌的视频平台，可以在桌面直接看视频！
总之，不论是大屏还是小屏，不论你身在世界的哪里，都会爱上我们全新升级的课程体验！
3. 我的公司非常支持员工上课，你们的课可以报销吗？
4. 单独买专项内的课程和买专项有什么区别吗？（当然有啦！）
如果你还有任何疑虑，不妨咨询小助手：
坚持学习，保持职场竞争力，MarTechApe的课堂，期待你的到来！
前往“发现”-“看一看”浏览“朋友在看”