原创：MarTechApe

最近很多人都在LinkedIn上发现，Facebook换logo了👇

其实早在2019年11月，Facebook就官宣了这个新logo。它放弃了从2005年一直以来的标志性蓝色，把Logo换成了更具有Instagram风格的彩色系列。换Logo的主要原因，是为了体现出Facebook这个帝国里所包含的所有产品：Instagram, WhatsApp以及最元老级的产品Facebook。而我们常用的Facebook网站/app还是保留它原有的品牌色。此举是为了强调Facebook作为一家公司与Facebook网站与app作为一款产品的区别。

Facebook的改头换面，让我们自然想起了其他品牌Logo变幻史。有些品牌十几年前的Logo真是让人始料不及啊！

比如Appe，以前居然是这样的...！

星爸爸以前居然这么辣眼睛！

如果细看年份，可以发现，除了苹果是在1976到1977这个公司创业早期的一年间发生了logo上的巨变（但在发展的中期和后期都基本保持了logo不变），大多数品牌都是在十几年、几十年的时间里慢慢对logo进行微调，逐步迭代进化成现在我们看到的样子。微软的logo进化史就是个很好的例子：

所以，在设计优化上，公司最重要的挑战是把握好新旧设计之间的平衡。今天我们就想好好聊一聊，品牌的UI/UX设计，到底应该遵循颠覆式的改造，还是逐步优化？在这过程中，A/B测试起到了怎样的关键作用？

重新设计VS优化

公司在进行优化时面临的挑战之一是如何平衡提升当前用户体验和完全重新设计所带来的体验上的改变。重新设计用户体验的效果是一个未知数：新的体验可能会解决已有用户的需求，但也可能会打乱业务渠道中的关键流程。那么，如何在不影响业务的情况下合理地引入新体验？答案就是：通过具有迭代性的、有序的A/B 测试。

A/B测试也可以带来颠覆性的改变

A/B测试与重新设计并不对立，恰恰相反，A/B测试是成功进行重新设计的根本。A/B测试能够验证你所测试的假设。测试的内容可以是你现在框架体系中已经涵盖的内容，也可能是完全新的、在现有体系框架以外的新尝试。通过实验来证明你的新功能是不是会带来更好的体验。如果实验运行顺利，你从实验中得到的数据结果不光能够告诉你都完成了哪些测试，结果怎样，还能够反应出为什么会有这样的结果。

颠覆性的重新设计通常不起作用

经过大量研究，我们发现这样的一个事实：大部分想要改善用户体验的重新设计都是以失败而告终。目前在网络上可以见到很多提升用户体验的案例，都漏洞百出，因为他们来自于一些未经测试过的颠覆性的重新设计。品牌们一定要让自己避免这种风险。

但如果你想用一次实验就检验所有的用户体验改变，这样的实验方式也是不理想的。将很多的假设放到单独一次实验中不是一个聪明的做法，这会让你很难看出到底是哪些地方的改进导致了最终的结果。我们需要做的是控制变量，每次进行一个功能的改进，因为只有这样，你才能清楚的了解到哪些改进可以真正提升用户体验，哪些不可以。不然，你只会得到一个所有变化因素累加在一起所产生的最终效果，然而你并不会清晰的理解具体是什么能够帮助你提升用户体验。

A / B测试是进行重新设计的正确方法

有效的重新设计方法是针对每一个想要进行的改变依次实行A/B测试，一次测试一个假设。当然在这类型的实验中，有一些比较高级的算法，能够解决较大的方差问题，但其实很少会使用，没有什么必要。而且还对数据的准确度和实验设计的严密程度提出非常高的要求。

以上流程图说明了：你可能会在某一次的A/B测试中得到结果，显示你想要做的改动其实不如原来的版本好。看到这样的结果时，你不用感到沮丧，因为这其实是一个好结果，因为你可以通过这样排除很多不适用的方案。不是每一次做加法才是好事，偶尔做减法也能让我们获益再回到之前那个最优的结果，通过这种不断的单次对照实验，你可以很清楚的知道哪些不行，哪些东西可以给你带来想要的结果。然而完全颠覆重来的实验设计是不可能做到这一点的，一次失败的实验将会耗费很多东西，因为每次的设计都包含了太多内容，失败一次的成本会造成很大的打击。

那么，如何在实践中进行次序性的A/B测试呢？我们将以Capital One为例。

Capital One首页导航的重新设计

Capital One面临的最大挑战是重新设计网站的导航，如下图所示。如果我们仅在单个测试中测试想要进行的所有改动，那么我们得到的只是一个结果，而不知道具体哪些地方导致了这个结果，更不可能知道后续要怎么进行优化。

所以最终Capital One没有采取“一口吃一个胖子”的做法（通过一次重新设计来推出新的主页导航），而是将整个重新设计的过程拆解成了一系列中性测试，从而可以得到每一步测试带来的改变效果是否可行，并且知道如何进行下一步的优化。

当然，最理想的情况其实是像次序性的A/B测试流程一样重复进行每一个改变的单次实验而不是组合一些方案进行测试。通过这样类似的测试经验，Capital One的团队现在专注于如何在下一步进行更加详细充分的迭代性的测试。

回顾Capital One重新设计主页导航栏的经验，他们的技术、设计和产品团队首先注意到重新设计中的每项更改（有很多），然后将需要更改的地方进行一些组合，在现有设计框架中设计测试的假设。它们添加了新的流程标准，可以更好的追踪每一个更改带来的影响或者是用户活动记录，从而提升点击量。

最后，虽然通过实验得出的有效改动并不多，但是在这个过程中，很清楚地看到了每一步的影响。这让Capital One 团队更加有把握去畅想，在未来实施较大的更改方案。我们知道如果进行一次性的更改测试方案，肯定是不可行的。

目前我们有一个针对信用卡产品使用资格预审的页面优化项目，我们正在进行跟进测试来提高用户体验。我们的假设是：如果让申请链接变得更可见，可以提高我们的业务核心指标以及用户的满意度。为了进行这项测试，我们在页面设置了一个很显眼的页面button“See if You’re Pre-Qualified”，这项测试仍然在进行中还没有得到最终的结果：

总结

那么，您如何在实践中进行次序性的A/B测试？具体来说，你要如何从实验中观测数据，并从中得出下一步该如何去做？

• 从以前的测试中收集KPI，或者一些使用过的匿名数据。

• 确定对照对象以及可能产生的测试变化有哪些。

• 评估缩小或产生差距的可能性在哪里。

• 提出你的假设。

• 弄清楚如何快速且低成本地测试假设，以了解假设是否有效。

• 确定测试人数。

• 生成并交付测试。收集数据并进行分析。

• 重复以上。

最后我还想说的是，数据既是实验测试的基础，也能够在实验测试中起到关键突破的作用。观察，衡量，假设，Win!

如果你想系统学习A/B测试在企业中的科学做法，用数据科学的分析方法解决实际的商业问题，用百万量级的原始数据为企业级商业问题搭建系统化数据分析解决流程，那么千万不要错过MarTechApe携手美国第一大家具电商Wayfair的高级商业分析专家共同开设的《A/B测试企业级实战项目》！利用疫情期间，系统地掌握企业级别的A/B测试，搭建真实的A/B测试分析，掌握A/B测试在企业落地的完整流程，全方位提高数据科学技能与商业意识！

在《A/B测试企业级实战训练营》中，你将获得：

• 真枪实弹的A/B测试项目实操，真实数据+五大应用案例，从零学会A/B测试的里里外外！

• 为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！

• 从0到100真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。

• 经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！

• 深度学习A/B测试实战中常见的测试陷阱及避免方法。

• 牢固掌握公司里A/B测试项目中的实际SQL应用，为A/B测试搭建数据库、清理数据、创建数据集。

• 学会用Python自动化实现A/B测试，为你的老板提高100%的工作效率！

  接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。

• 对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！

• 各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。

  点击下方图片跳转至课程页面，了解更多项目详情：