原创：MarTechApe

Pinterest如何可持续地扩大增长团队？

Pinterest的增长团队目前有100多名成员，这些年来，我们已经进行了成千上万次实验。然而，在进行大量实验的情况下还保持较高的成功率并不是一件很容易的事情。我们发现传统的由团队领导来决定做哪些测试的管理模式，是会限制团队的发展的。增加高质量的实验想法是发展壮大增长团队的最有力的杠杆之一。但是随着我们不断扩大团队的规模，我们的领导直接进行研究和寻找好的实验想法的时间越来越少。

为了解决这个问题，我们将增长团队的结构从下至上进行了重组——也就是说每个人（工程师、产品经理、工程师经理和设计师等）都被要求必须贡献出高质量的实验想法。但是，这个模式的一大问题是——并不是所有人都拥有一双“慧眼”能有效识别并抓住机会，而这个技能通常只能从经验中得来。

于是我们开创了“实验构想评介”（EIR，Experiment Idea Review）模式来快速培训团队成员产出高质量的实验想法，建立起一个“想法库”。下文将会介绍如何有效地运行“实验构想评介”模式。

什么是实验构想评介？

简而言之，EIR是一种周期性会议。它有两个主要目标：

（1）训练团队成员如何提出高质量的实验构想

（2）建立起一个成熟的高质量实验构想库

EIR可以按不同的时间间隔（例如：每周/每月）来运行，具体取决于团队需要多少个好点子。当每个人随着实践经验变得越丰富，他们就越能提出高质量的好点子。

注意：EIR并不等同于头脑风暴。

在Pinterest，我们历来都会进行头脑风暴来产生增长营销实验的想法。我们所有人都会聚集在一个房间里，然后都提出自己的想法，最后再尝试将好的想法都纳入发展蓝图。但我们认识到，只有在为目标十分具体的问题提出解决方案时（例如，我们应该如何解决潜在用户的邮件打开率很高、但点击转化率很低的问题），简单的头脑风暴才有效。只有花足够的时间去做研究，人们才能提出更多成熟、有实操性的点子，而不仅仅是在短时间的头脑风暴中提出不太成熟想法。

“实验构想评介”的具体步骤

在召开EIR会议之前，团队成员需要自行思考，并花上接近一个小时来填写实验构想文档。一份精心编写的文档可以为读者提供足够的详细信息，让其他人能对该想法的潜在价值做出有根据的估量。因此该实验构想文档应尽可能详细并包含以下内容：

• 问题陈述：我们正在解决的什么用户问题？（我们当然希望实验让用户受益）

• 截图和视频资料：当前的用户体验设计是什么样子的？

• 实验构想：拟定实验的设计、设置和目标具体是什么？

• 假设：实验将产生什么结果？以及它将如何显着改进重要衡量指标？

• 测试规模：每天有多少用户会参与到这个实验？

• 预计影响：根据设定的测试规模，该实验的预期影响范围有多大？

• 预计投入：需要投入多少工程、设计和时间来测试这个想法？

• 前提：我们公司或其他公司之前是否进行过相关实验？我们可以从他们那里学到什么？如果我们以前进行过这种类型的实验，那这个新的实验有何不同？

• 推荐优先程度：基于上述所有条件，我们是应立即进行该实验，还是将其放入待办事项列表中，还是暂时先不对它进行优先级排序？

在EIR期间，每个想法可以有5分钟的演示时间和5分钟的讨论时间。主管应针对每个人的想法提供全面的反馈，并且讨论应以相应的行动要项作为结束。不同的团队可以使用不同的评价体系，但通常行动要项可以是“立即开始实验”、“移至待办列表”或“降低优先级”。

最佳实践

在试图使“实验构想评介”（EIR) 更加高效的过程中，我们总会遇到各种各样的问题，下面是问题以及在实践中最佳的应对方式：

问题一：人们没有带来想法和思路

解决办法一：给具体的每个人规定分享想法的任务和日期并制成表格，而管理者必须设立一定的期望值，只有提出好的想法的人才能够在增长团队中获得成功。还要考虑将新的员工和有经验的员工分到一组，这样他们可以更好地合作。

问题二: 人们不知道如何能有好的想法

解决办法二：在入职培训中，教员工如何从竞品调查、用户流程跟踪、指标深入挖掘和检验以往的实验中获得灵感。建一个高质量想法的文库作为培训使用的示例。

问题三：想法质量有限

解决办法三：当加速实验思路评介（EIR) 过程时，这个问题常常会出现。为了更快地提高质量，领导者需要针对每一个想法给出有价值的反馈（之后我们会说到我们应该把重心放在什么类型的反馈上）。同时，领导者也应该强调，一个好的想法比十个不好的想法产生的影响要大得多，并且实现起来更省时间。同样地，要对研究出想法所需要的准备时间设置一个期望值，通常我们推荐30分钟到2个小时。

问题四：想法不够细致，无法评分

解决办法四：让领导在会议开始前先收集想法，浏览并找出是否有想法不够详细。如果有不够详细的想法，通知作者去补充细节，并定下一次审阅的时间，避免对同一个想法花费两次时间。

问题五：好的想法没有得到实践

解决办法五：对于真正有创意的想法，让所有者在会议上对其付诸实践。

反馈指导

以下是一些比较常见的反馈，可以帮助员工提高实验思路的质量。

• 机会规模太小：如果太少用户能够看到实验测试的功能，影响会很有限。

• 对影响的估算不成立：人们通常会高估提议的更改可能产生的影响。

• 没有列出先例：新的团队成员通常对过去的实验不了解，所以列出先例很有帮助。

• 没有对先例的讨论：“你现在为什么对这个实验会有不同做法？”应该对每一个先例提问并回答这个问题。

• 成本规模不准确：人们通常会低估一个项目所需要花费的时间。每个实验都有大量的团队管理费用，所以不能只考虑投入的时间。

• 评分太宽容：试着用过去实验中获得巨大成功的实验数量（不包括已实践但只是小成功的案例）除以你全部的实验数量，你可能会得到一个很小的比例，这就启发我们一定要谨慎选择投入到哪一类型的实验中。

结果

实施“实验构想评介”（EIR) 一年之后，我们看到了对增长团队几个方面的利好：

• 根据不同小组的情况，50%-100%的实验都是通过无领导小组的成员完成的。

• 我们将增长团队的成员规模扩展到100+，并持续扩大每个小组实验的影响力。

• 团队新成员效率更高，因为他们可以很快地了解到团队之前做过什么样的实验。并且对新上手的实验更有信心。

总的来说，“实验构想评介”（EIR）扩大了Pinterest增长团队的影响力，团队成员在决定从事哪些项目的过程中享有更大的权利，这对他们个人的影响力和职业发展也产生了直接的正向作用。

想要上手企业级项目，获得实操经验，成为科技大厂数据分析师/数据科学家？MarTechApe的《A/B测试企业级实战训练营》以真实商业场景中的复杂A/B测试问题为项目背景，让学员在两个月的时间里，使用百万量级原始数据，搭建完整的A/B测试流程！在过去开办的四期《训练营》中，我们为顶尖科技公司输送数据能力强、实验经验丰富、统计基础扎实的数据人才。不论你本来是什么背景，都能通过这门课程，打开盛行“测试文化”的互联网高科技公司的大门！

以下为往期学员的战绩榜：

🔥目前，MarTechApe《A/B测试企业级实战训练营》正式火热报名第5期！🔥
每一期训练营，我们只招收20名学生。

👇点击下方按钮，了解项目详情！👇