据说Twitter在用A/B测试阻止川普发推？

原创 MarTechApe MarTechCareer

测试是Twitter产品研发周期的核心。Twitter的测试文化依赖于Twitter对于工具、研发和培训的大量资金投入，以确保开发团队可以顺利进行测试。

Twitter进行的测试不仅数量巨大，还覆盖了广泛的主题：从细微的UI / UX更改，到新功能测试，再到机器学习模型的改进。测试在Twitter内部被视为一个无尽的学习闭环：

建立假设：提出新功能或改进现有功能的想法。
定义成功指标：首先估计“机会大小（opportunity size）”，即受该更改影响的用户数量。正式定义测试的成功和失败指标；考虑哪些折衷是可以接受的。
测试假设：实施更改方案，用合适的工具进行记录，执行完整性测试，确保测试流程无误。
学习：检查测试中收集的数据，分析结果，得出结论，并与其他Twitter团队共享你的发现。
发布：收集数据后，确定测试是否验证了假设，决定是否发布新版本。
建立新假设：结合测试中的结果，产生更多的假设以进行更多改进。

Source：Twitter

A/B测试、决策的制定与创新

Twitter的产品测试团队非常重视测试的原理和哲学。A/B测试虽然有诸多优点，但各种易犯的陷阱也让很多人翻过车。A/B测试的结果常常出乎意料，和我们的预期南辕北辙。我们该怎么避开陷阱？哪些时候应该用 A/B测试来检验新功能？我们如何在确保决策过程严谨的同时承担风险？

测试的优点与增量主义

关于A/B测试有一个常见的争议，即它带来的增量效益较小，并且大多数测试对于关键指标的改进微乎其微。因此有人质疑，为什么不把精力用在更有影响力和革命性的事上？

这种质疑并非没有道理，目前大多数测试对指标都只能产生细微的影响。如果某项针对大部分用户的测试可以将核心指标提高几个百分点，那也可以说是一项巨大的成功。

然而，这并不是A/B测试带来的问题，而是因为一个成熟的产品很难在指标上有大幅度的改变。很多测试团队预测会取得成效的改动实际上并不能通过测试。但是，A/B测试的坏结果可以让我们及时止损，停止无效的投入，并尽快进行调整。这就是我们进行测试的重要原因。

A / B测试可以在产品初期帮我们留住好的想法，并且给它们机会继续发展。如果我们真正相信一个想法，但最初的测试结果没有达到我们的期望时，我们可以对产品进行进一步的更改，直到我们准备好将其交付给上亿的用户。而如果没有测试的过程会发生什么呢？你提出了一个自己感觉良好的新功能，并将其发布，一年后，才意识到根本没有人在使用该功能，它早就安静地消失了。

因为有了快速的迭代和对新功能测试效果的评估，我们的团队可以尽早将早期的用户反馈纳入产品设计中。我们能够发布更改，发现有效的更改和无效的更改，提出可以进一步改善产品的假设，然后进行交付，直到我们准备好可以广泛发布的新版本为止。

有人认为低增量是一种缺陷。当然，提出一个革命性的大更改听起来要比小改进令人兴奋得多，但是小的变化累计起来也会产生巨大的复合效果。只关注增量数字而忽略对产品的改善是一件很危险的事情。其实产品的A/B测试和金融投资异曲同工，好的金融投资组合可以平衡高风险高回报与低风险稳定回报，产品组合管理正是这个道理。

Source：Saviom

虽然前文提到了A/B测试的重要性和诸多优点，但不得不说，还是有很多想法和改变我们是无法测试，也不该测试的。比如某项更改旨在引发用户间的网络效应，就无法用A/B测试捕捉效果。此外，某些功能仅提供给随机的特定百分比的人群时是无效的。比如，群组私聊功能就不能在普通的A/B测试中使用，因为幸运获得新功能的用户会想向没有该功能的人发送消息，导致这项功能变得无效。有些新功能可能和现有功能完全垂直，比如推出像Periscope（流媒体直播软件）这样的新应用就不属于Twitter应用测试的范围。但是新app一旦推出，A/B测试就会成为在该应用中推动更迭的重要方式。

也有一类更改是针对重大新功能发布，这些新功能已经通过了内测和公测，但出于策略考量，选择在某一个特殊时刻对所有用户发布。作为一个组织，作出这样的决定是出于对产品和用户利益的考量。我们认为一次大型的发布带来的新用户的收益会大于小改动累加的收益。这是产品经理必须要做的衡量。在这些新功能发布后，我们是否要对其进行A/B测试？是的，随着想法的成熟，我们将使用公认的科学原理来指导想法的演变，测试是该过程的关键部分。

测试的可靠性，如何避免陷阱？

既然我们已经对测试的运行进行了一些案例说明，那么接下来就让我们来讨论一下，怎么做才可以避免陷阱呢？测试的配置和分析是复杂的，即使是正常的人类行为也很有可能会造成测试结果上的偏差和误解。下面就为你提供了几种实践方法，以此来降低误差风险。

测试的假设

一般来说，测试工具能够揭示大量的数据，并且也经常允许测试者设计自定义指标来衡量指标变化的影响。但这可能会触发A/B测试中隐藏最深的陷阱之一：“cherry-picking” 和 “HARKing” 。这两个陷阱主要是指，从许多测试的数据点中只选择支持你的假设的指标，或者在看到数据后对你的假设做出进一步的调整，从而让它能够匹配测试结果。在Twitter的测试中，收集上百个指标是非常常见的，因为这些指标可以分解成大量的纬度（比如，用户属性、设备类型、国家等等），同时生成成千上万的观测值。之后，你就可以从中挑选你希望拟合并且能更好地适用于你故事的观测值。

Source：Wikipedia

这里还有一个可以帮助你避开cherry-picking的方法，那就是在配置阶段确定好你希望改进的指标。测试者愿意跟踪多少指标都可以，但是要将少数指标用上述方式进行明确的标记。最后在分析工具的结果页面上突出显示这些指标。毋庸置疑，测试者可以自由地研究所有其他已经被收集的数据，以此来建立新的假设。但是值得注意的是，测试者最初的假设应该是固定的，并且要方便检查。

测试的过程

无论测试工具多好，如果测试配置不完善，那么结果依旧可能会不够完美。在Twitter，很多测试者在测试过程上付出了大量的时间，从而大大提高了测试成功的概率。在这个过程中大部分测试步骤都是可以选择的。但是测试者发现，更多的测试步骤和详细的记录能够大大减少因错误而需要重新运行测试的时间损失，同时还能够收集到更多的数据，从而就减少了在App Store发布周期的时间损耗。

所有的测试者都被要求详细记录他们的测试。在测试过程中，你通常需要考虑到这些问题：你在改变什么？你期望的结果是什么？期望的“受众规模”（即将要看到这一特性的用户比例）是多少？之后测试所收集到的数据不仅仅能回答测试者所思考的这些问题，而且还能帮助他们建立一个系统的学习资料库 —— 一份正式的测试记录和测试结果。这份记录中当然也包括了失败的结果，这个可以用来指导之后的测试。

Source：Peru Sports Travel

测试者还可以通过测试牧羊人的帮助，来达到完善其测试的目的。测试牧羊人一般是指有丰富测试经验的工程师和数据科学家，他们会负责评审测试假设和拟定测试指标，以此来减少测试出错的几率。一个配置正确、指标明确、反馈充足的测试确实大大增加了测试的正确性，也能够为分析测试结果添砖加瓦。

一些团队也会举行每周例会，在例会上评审其测试结果以便决定是否应该将更新的产品发布给更广泛的用户。这种例会也有助于解决 cherry-picking和误解统计显著性的问题。重要的是要注意这不是一场“给你一个理由说不”的例会，在这里是要明确并且坦诚地表明如果发布更新产品可能会带来的预期结果（通常红色表示发布，绿色表示不发布），而不能仅仅只考虑到短期收益。例会的举行显著提高了产品更新的质量，特别是通过这个会议，团队中的每一个人都能够畅所欲言，了解到每一个成员对产品的看法。

另一个测试者们经常使用到的测试方法是“holdbacks”，这是指如果向99%（或者其他高百分比）的用户推送该特性，并观测随着时间推移关键指标是如何偏离被隔离的1%的。这样可以帮助测试者能更好地加速更新和发布的速度，并且能同时密切关注测试的长期影响。这也是一种很好的验证测试中是否真正实现收益的方法。

测试的培训

培训测试者是确保他们在测试过程中，不落入测试陷阱的最有效的方法之一。Twiiter的数据科学家会给其员工开设多门测试和统计直觉的课程。其中统计直觉是所有新工程师加入公司后必须要参加的课程。目标是使工程师、产品经理、项目经理和一些其他的工作者能够更好地熟悉测试过程、测试注意事项、测试陷阱和最佳实践等等。增强测试品质和熟知测试陷阱也能帮助测试者在之后的工作中避免可避免的错误，减少修改测试所浪费的时间，让测试者可以更快地洞察和改进测试节奏和质量。

这说明要做成一个质量足够过关的A/B测试一定要经过最专业的业内人士培训，才能够被优秀的公司选中，负责重要的测试项目。因此，即便你还没进入这类互联网科技名企，现在也有机会得到专业的A/B测试实战培训了！MarTechApe携手拥有多年A/B测试实战经验及新人教授经验的行业专家，精心打磨推出的《A/B测试实操训练营》就能帮助你实现A/B测试的能力培养！

如果你希望能为之后面试顶流大厂时积累A/B测试的真实项目经历，就赶快来了解一下这门实操训练课程吧！

1 你将获得

真枪实弹的A/B测试项目实操，真实数据+五大应用案例，从零学会A/B测试的里里外外！
为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！
从0到100真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。
经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！
深度学习A/B测试实战中常见的测试陷阱及避免方法。
牢固掌握公司里A/B测试项目中的实际SQL应用，为A/B测试搭建数据库、清理数据、创建数据集。
学会用Python自动化实现A/B测试，为你的老板提高100%的工作效率！
接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。
对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！
各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。

2 训练营老师介绍

Emma老师

美国知名电商Wayfair高级商业分析专家
拥有多年电商A/B测试实战经验，及新人教授经验
精通Advanced SQL, Python等数据分析工具
设计推出的A/B测试，为公司带来上千万美元的收入

3 训练营课程内容

整个Bootcamp历时7周，每周3小时课程，共计21小时课时。
周末Online Live授课，课后完成老师布置的作业，助教团队在班级群内随时答疑，直播录像永久回放。
五大课程模块：

A/B测试商业训练（案例、变量设计、测试计划）
A/B测试数据技能训练（数据源概况、SQL数据库建立、Python自动化分析）
A/B测试实验设计训练（A/B测试 vs 准实验、实验步骤、真实商业环境中的实验挑战）
A/B测试统计训练（统计分析、深度解析）
A/B测试面试训练

课程内容涵盖了A/B测试在各大互联网科技公司中的完整工作流程：

A/B测试统计基础与应用场景
A/B测试实验设计
A/B测试假设检验、变量选择、流量计算与实验周期计算
A/B测试各类应用场景中的实验变体与前后测实战分析
用SQL与Python完成A/B测试项目实战
A/B测试结果解读与高阶统计
结果展示

每位学员将有一套亲自做的A/B测试成果作品
每位学员获得A/B测试面试真题解题辅导
结课后，每位学员获得提升简历的Project Experience完美描述，所有学员获得内推机会！

1. A/B测试商业训练

了解A/B测试在顶流科技公司中的各类应用场景
了解A/B测试适用的商业问题与它的局限
了解科技公司产品团队如何使用A/B测试
面对商业问题，如何设计有效的假设？
如何制定A/B测试的实验计划与执行框架？

2. A/B测试数据技能

搭建一个真实的A/B测试实验数据库
了解A/B测试中常面临的数据问题
用SQL对数据进行清洗与转制，完成样本选取、组别分配、变量选取等实验步骤，为A/B测试做好数据准备
用Python搭建A/B测试分析流程

学员在项目中重点使用SQL与Python，全方位了解A/B测试中涉及的数据库搭建、样本选取、实验组与测试组分配、变量选取等数据分析步骤。并且充分掌握用Python搭建A/B测试结果分析流程，实现A/B测试自动化，对真实工作中的A/B测试分析了如指掌。简而言之，项目后，你不仅将牢固掌握SQL与Python等最热门的数据分析软件，还将成为真正的A/B测试技术流，完全掌握A/B测试这项数据分析工作中最重要的技能。

3. A/B测试实验设计

充分了解A/B测试的实验步骤
设立零假设与被择假设
确认实验指标，设计实验变量
根据指标类型确认统计检验方法
估算样本量，确定实验周期
置信区间与统计功效
A/B测试中的各类偏差
样本量不够或其他实验条件不满足时的实验设计
了解准实验与A/B测试的应用区别
为项目案例设计A/B测试实验

学员在项目中将透彻学习实验方法与实验设计。在这个环节中，将研究如何制定实验方案，以提高实验效率，缩小随机误差的影响，并使实验结果能有效地进行统计分析。学习在工作场景中如何用A/B测试等实验来提高用户激活/活跃/留存等关键的产品指标，提升产品功能表现，真正理解A/B测试的商业价值与业务地位。

4. A/B测试统计训练

抽样技术
样本量与统计分布
统计测试的不同类型和指标（T测试, Z测试, Z分数, P值）
统计显著性
统计功效
置信区间
假设检验的两类错误等

学员在项目中将系统学习数理统计方法，为各类工作实战中的实验方法打下牢固的理论基础。学员所学习到的统计并不只适用于A/B测试，其实是所有数据分析方法的统计基础。只有为自己增添坚实的统计背景才能在各类分析方法中游刃有余。

5. A/B测试面试训练

在每周的课程后，所有学员将获得A/B测试面试训练。老师将对各大互联网、科技公司A/B测试面试题给出解题步骤示范与详细解析。确保课堂所学知识可以灵活应用到各类面试场景，助你自信面对A/B测试的所有面试考验！

4 报名方式

长按二维码，添加小助手为好友，回复“AB”，即可报名《A/B测试实战训练营》：

小助手

熟悉我们的老用户，应该知道我们一直都是实行阶梯价格的，这次也不例外：

先到先得、越早报名越优惠（原价$1699美元）。以下价格单位为美元：

第1名～第4名：999美元
第5名～第8名：1099美元
第9名～第11名：1199美元
第12名～第15名：1299美元
第16名～第17名：1399美元
第18名：1499美元
第19名：1599美元
第20名：1699美元（原价）

今年的你，是否能在更好的公司做更优秀的自己？投资自己，全方位提升能力，为自己增添被验证有效的宝藏项目经历！赶快报名吧！

免费资源, 行业动态Zhen LiFebruary 9, 2020

据说Twitter在用A/B测试阻止川普发推？

真枪实弹的A/B测试项目实操，真实数据+五大应用案例，从零学会A/B测试的里里外外！

美国知名电商Wayfair高级商业分析专家

拥有多年电商A/B测试实战经验，及新人教授经验

精通Advanced SQL, Python等数据分析工具

设计推出的A/B测试，为公司带来上千万美元的收入

2. A/B测试数据技能

3. A/B测试实验设计

4. A/B测试统计训练

5. A/B测试面试训练

长按二维码，添加小助手为好友，回复“AB”，即可报名《A/B测试实战训练营》：

发送到看一看