在我们陆续开设了Attribution、Marketing Mix Modeling和A/B Testing的课程后，想必有同学会问，这三种技能都可以用来测量营销的效果，但到底什么时候该用什么方法呢？

今天这篇文章，来自Advertising Research Foundation的CEO——Scott McDonald在今年年初写下的心得，探讨了这三种测量Marketing ROI的方法。

让我们看看营销科学里顶尖的专家怎么说！

大约150年前，传奇商人John Wanamaker说，

“我有一半的广告费浪费了；但问题是我不知道是哪一半”。

在接下来的一百多年里，很多CEO都对他的抱怨感同身受，他们在量化广告投资收益的这条路上痛苦地探索着。一些营销人在面对如何把销售额与复杂的营销计划中某个具体的营销元素联系起来时，几乎是绝望的。他们宁愿用他们的“直觉”来做影响着几百万甚至上亿美金的营销决策，并且用虚荣而无用的指标（vanity metrics）来justify营销的结果。

注：虚荣指标指例如registered users, downloads, and raw pageviews等。他们很容易被操纵，并且与那些真正重要的指标不一定相关。真正重要的指标包括：active users, engagement, the cost of getting new customers, revenues and profits. 

然而，在现在的data-driven marketing的时代，这种方法已经无法再维系了。因为CFO和CEO提出了更严格的要求，需要营销人员给出明确的Marketing ROI。

虽然从John Wanamaker的时代到现在，营销科学的确已经发展了很久了。但是现在依然无法斩钉截切地回答，到底什么才是最好的量化marketing activity的影响的方法。

如今，这三种方法最为广泛应用：

A/B Testing，Marketing Mix Modeling和Multi-Touch Attribution。

A/B Tests

这个方法能够测试不同的广告所传递的信息、优惠、颜色、广告创意元素、针对人群等对因变量的影响。这个方法长期统领了直效营销direct marketing，并且自然地延展到了网站优化web optimization、电商e-commerce和其他的可通过市场直接反馈收集测试结果的情境。最近这几年，大型DSP使得A/B testing变得更简单而广受欢迎。营销人们喜欢A/B test简单的原理和清晰的做法。然而这个方法有几个重要的局限：

• 如果你不是一个direct marketer，可能很难选择正确的因变量。因而也会直接影响你正确地解读测试的结果。

• A/B tests给你很多tactical information，但无法给你bigger strategic picture——比如该花多少钱，在哪些渠道花钱，用哪一种品牌策略等等。A/B tests有种倾向就是给你的信息太tactical了以至于过度依赖于A/B test的人无法用整体、连贯的视角看到用户的动机和需求。

• 在实际操作中，A/B tests的执行总是缺乏规范性。为了减少成本，有些营销人会让test组用便宜的inventory或者很小的样本量，无法与control组相匹配。这就降低了测试的有效性。一个好的干净的测试，“A”组和“B”组应该是随机分配的，保证除了想测试的变量在A、B之间不同之外没有别的因素不同。如果做不到A、B两组的随机性，这将大大减低A/B test的效果。

• 当缺乏一个好的实验设计时，A/B test也会捉襟见肘。营销人们应该依赖他们的Consumer Insights部门来将实验设计原则应用到测试设计上。这可以让实验更加高效。分式析因设计（Fractional factorial designs）可以让实验更加事半功倍。

如果你想学习更多A/B Testing的内容，掌握A/B Testing的原理和做法，就来报名由现美国第二大游戏公司EA、前Ebay高级商业分析师带来的A/B Testing 101课程吧！6节可教你学会A/B Testing的原理、实验设计方法和A/B Testing的前沿应用。