原创：MarTechApe

在Netflix ，很多决策都依赖于实验结果。通过设计，分析，严格地执行实验，我们能更加有信心地对公司业务进行改进。我们在产品各方面都有多年的实验运行经验，持续地提高着Netflix的 UI，搜索，推荐，视频流等业务。因此Netflix的A/B 测试平台也愈发成熟。虽然 A/B 测试对很多假设测试很有效，但是也有一些情况下，A/B测试并不适用：

1. 从技术上不能够像传统的A/B测试那样对个体用户做随机化。

2. 即使可以做随机分配，但是不同用户体验不论是通过口碑相传，大众媒体，还是内部的排名系统，产生相互干扰。简而言之就是违背个体处理稳定性假设（SUTVA），产生偏差。

例如：Netflix想要更好地了解通过改进用户产品的标题和进行户外广告（Out of Home）带来的影响，是彼此促进的还是相互蚕食？

Netflix如何衡量呢？通常，需要对个人用户做随机处理，但想要实现随机分配某些人看到广告牌，某些人看不到广告牌似乎是不可能的。然而虽然不能够随机安排个体是否看到广告牌，我们可以选择在某些城市展示广告牌，某些城市不进行展示。

这样就可以在特定的时间里比较对照组（没有广告牌展示的城市）和实验组（有广告牌展示的城市）的区别。由于随时都有一些偶然的变化发生，我们需要回顾历史数据，以确定哪些变化是正常的，这样才能够判断实验所带来的影响。由于是根据不同的地点分配的人群，而不是对每个个体随机分配，这类实验方法被称之为‘准实验’。这种情况可能会导致样本不平衡，比如偏度（skewness）和异质差异（heterogeneous differences）的产生。准实验的结果不如A/B测试那么准确，但是也能在因果上有大体的引导意义。

改进和机遇

如何从像上文列举的户外广告的例子中得到更精确的结果？迄今为止，我们把大部分精力集中在改进实验设计，而不是改进统计模型上。当有足够丰富的数据做支持的时候，改进模型最有效果。但对于营销研究，用户在注册前，我们几乎没有他们的相关数据。相反的，我们可以通过增加对比实验的数量增加统计效力。当我们停止所有营销活动时，用户注册将会趋于一个自然增长的水平。这时候我们就可以开始测量营销活动的作用了。

然后，我们可以在未接受实验处理的地区，进行营销活动，衡量影响，然后再停止活动，再次测量其影响。在更为复杂的设计中，甚至可以完全没有‘对照组’，如果能够保证有些地区在营销活动中完全不受影响，我们依旧可以测量营销的影响。

某些情况下，我们可以建立更为复杂的模型。比如，Netflix 通过内容分发网络（content delivery network）, Open Connect向用户传递内容。当我们想要改进这个系统时，通常需要在整个Open Connect 服务器上面做更改，而没有办法随机分配到个别的stream 上。这时候测量某种改进产生的影响就是另一个对服务器做随机的准实验。但是相比于上文提到的不同城市的例子，我们对服务器发生什么更加清楚。我们可以通过提高模型和实验设计两方面，提高我们的预估。比如，在测试前知道哪些内容更倾向于来自于哪些服务器。SD 动画比UHD的电影更容易载入。我们需要采用拦截还是相应匹配实验设计？还是使用协变量来控制这些差别？

规模化准实验

在过去的一年里，我们的营销团队运行了非常多的准实验，衡量电影和电视节目营销对各种业务的影响（会员体验，电视广告，户外广告，线上广告等），为会员提供更好的内容体验。

Netflix 在营销方面应用准实验取得的成功激发了其他团队扩展应用准实验的兴趣。我们正在开发一种新产品，叫做 ’Quasimodo‘，提供更好的实验平台，可以自动化数据科学家的工作流程，节省时间，可以同时并行运行更多的准实验。

Quasimodo 的三个核心：

1. Netflix 团队集中精力在实验设计，产生实验假设和解释实验结果，无需担心运行实验的机制以及操作。

2. 利用A/B 测试方法，构建一个整体实验平台，实现Netflix 雄心勃勃的规模化进程。

3. 跨职能的科学家团队不断协作，探讨最佳设计和分析准实验方法，并应用到实验平台中，使Netflix 更广泛的群体从中受益。

在当下的大数据时代，不同平台都基于A/B测试的原理和操作，开发出了适用各自商业模式的测试和实验方法。深入了解A/B测试，能让你快速适应万变不离其宗的大厂数据分析团队工作模式。想要深度掌握A/B测试，懂得A/B测试的原理，拥有实操经历，上手企业级项目？MarTechApe的《A/B测试企业级实战训练营》以真实商业场景中的复杂A/B测试问题为项目背景，让学员在两个月的时间里，使用百万量级原始数据，搭建完整的A/B测试流程！

在过去开办的三期《训练营》中，我们为顶尖科技公司输送数据能力强、实验经验丰富、统计基础扎实的数据人才。不论你本来是什么背景，都能通过这门课程，打开盛行“测试文化”的互联网高科技公司的大门！

以下为往期学员的战绩榜：

👇 点击下方按钮，了解项目详情！👇

A/B测试企业级实战训练营

Reference: Quasi Experimentation at Netflix

翻译 | Jiaojie

校对｜Joy

图片 | 来自网络公开资源，版权属原作者

排版 | Mengxue & Hanzhen

—— END ——

本文由MarTechCareer独家整理发布, 如需转载请注明来源

版权声明：MarTechCareer致力于发布原创优质文章、推广前沿实操干货、分享面试指南与学员战绩。本文不代表MarTechCareer立场，仅为传递、参考之用。如涉及版权问题，敬请原作者谅解，并联系微信yvonne91_wsn进行处理。

Netflix的营销团队如何做实验分析？