原创：MarTechApe

在当今的互联网上，广告无处不在。Facebook, Google等依靠广告业务发展成当今的互联网巨头。大大小小的公司每年在广告营销上投入巨大。所以，衡量广告的回报率对公司至关重要。相对传统营销渠道，线上营销提供了更加精确地测量回报率的可能。下文介绍了几种业界常用的测量方式。

归因与增量分析

为了更准确地估算ROAS（广告支出回报率），我们需要衡量的是广告促成的增量购买：不是organic（自然购买）的用户，而是persuadable（即原本没有意愿，但受广告影响后产生了购买行为）的用户。如果不区分自然购买和增量购买，那寻找目标用户的算法将会寻找更容易转化的人群，定位那些本来就有购买意愿的用户，误导性地拔高了ROAS，浪费了广告投入。

通过线上广告与persuadable用户建立联系并最终转化需要一系列的多点接触。旅游业产品是一个非常好的例子。然而，追踪用户在网站上的行踪（customer journey tracking）十分有挑战性。大多数用户会在数个设备上登录。建立一个设备图谱（device graph）能让我们更好了解用户在转化之前看到了哪里的广告。但想要建立一个精确完整的设备图谱也面临诸多困难，比如各大浏览器取消Cookie后如何追踪，以及多个用户可能登陆同一设备等等问题。

此外，传统的归因方法过于看中“Last Click”，即购买前最后点击的广告。这种方法可能会过度重视处在销售漏斗末端的SEM渠道。如此一来这会产生两个问题：1. 用户在Google搜索相关关键词并被引导到对应网站可能并不是增量购买，而是自然购买。2. “Last Click”还会忽略最终购买前一系列其他广告对用户的曝光效应。Facebook，Instagram，Youtube等展示为主的渠道会被忽略。

一个浅显的例子来展示“Last Click”归因法的问题：想象一下，如果向你的另一半求婚成功，你会觉得那枚求婚戒指是对方答应你的最主要原因吗？当然不是！

多点归因更有助于减少偏差。要做到这一点，需要运用统计学和实验设计的方法。

如何准确测量增量是一个因果性vs相关性问题：我们想要测量哪些购买是广告导致的，而不是计算广告与用户购买倾向的相关性。我们需要从用户的一系列行为中找到转化用户的那些因素。实验（experimentation）便是一种控制其他变量准确衡量因果性的好办法。如何设计实验取决于广告运行的平台，以下是几种常用的实验设计方法：

意向性分析 Intention To Treat

ITT源自医学临床试验领域，是Facebook的营销转化提升（Conversion Lift）工具运用的方法之一。

医学中，随机对照试验中的ITT，是指参与随机分组（对照组和实验组）的对象，无论其是否接受该组的治疗，最终都纳入所分配的组中进行疗效的统计分析。该原则强调，只要是参与了随机分配的病例，就应当纳入最后的结果分析。

这种分析方法维持了原来两组研究对象的可比性，并为统计学检验提供了可靠的基础。在很多的药物临床试验中，ITT分析得到的结果一般是保守的，往往会低估干预措施的真实效果，但因为这种方法没有破坏组间的可比性，且不会夸大试验药物的效果，因此是分析中不能缺少的部分。

将以上医学概念套用到市场营销的场景：

1.     在营销实验中的随机分组对象，无论是否看到了广告，都要被纳入最后的统计分析。

2.     ITT可能会低估广告营销的效果，但能很好地避免过分夸大广告效果。

3.     实验组里的对象没有看到广告的人越多，ITT分析的结果就越不符合真实情况。所以，需要让实验组的对象尽量多得看到广告。

ITT可以帮助解答以下两个衡量绝对增量的问题：

1.     尝试给100个人展示广告带来了多少增量。

2.     100个人看到了广告带来了多少增量。（如果广告覆盖率很高的话）

下图的例子能帮助我们更好地理解：

上图中，条纹衫的人是会自然转化的意向人群。对这个例子做一些分析：

1.     使用ITT的原则来分析结果，不管实验组的用户最后有没有真正地看到广告，都要参与结果的分析，对照组和实验组的转化概率都是 7 / 14 = 50%。广告没有起到lift的作用。

2.     广告的覆盖率（有多少实验组的用户真正看到了广告）= 6 /（6+8）= 43%，在实验组中一共有14个人，其中6个人真正看到了你的广告。

3.     寻找目标用户的算法倾向于针对那些会自然转化的用户，所以看到了广告的用户转化率很高 = 5 / 6 = 83%

4.     而实验组中没有没有看到广告的用户转化率仅为 = 2 / 8 = 25%

5.     如果不用ITT方法分析这个结果，广告是有效果的，增量转化率 = 33% （实验组中真正看到广告并转化的比率(83% ) - 对照组中的转化率(50%)

ITT分析的不足之处是如果treatment覆盖率较低（想让他们看到广告，却最终没有看到），那结果的显著程度将会下降很多。所以，我们需要在功效分析中注意覆盖率。对于覆盖率很低的营销活动，比如专门针对广大人群中少数高价值目标的广告，ITT的分析结果可能会过低。

下面这种设计方法可以有效解决覆盖率低时的分析偏差问题。

Ghost Ads

Ghost Ads是Google发明用来更准确测量其展示广告的工具。Ghost Ads会用和实验组相同的定位算法预测在对照组里有哪些用户原本会被serve广告（放到实验组里就会被serve广告），并将这些人和实验组里真正被serve广告的人比较。

这种方法能对真正被广告触达的用户进行对应比较。唯一的缺陷在于能否使用这种方法取决于广告平台运用算法的机制。第三代广告定位系统会通过用户通过广告曝光后的反应等行为来优化，而这无法在对照组里复制。GDN（Google Display Network）属于第二代系统，很适合运用Ghost Ads方法。Facebook的广告定位系统属于第三代，难以使用Ghost Ads，所以更依赖ITT。

Split testing / A/B testing

A/B testing一直都是一种较为简便的实验方法。它可以用来测量营销活动中某个特征的相对增量影响（relative incrementality），而不是绝对增量影响（absolute incrementality）。绝对增量是serve广告对销量增长的因果效应，相对增量是serve一个广告对销量增长的相对效应。

A/Btesting的好处是可以针对各种特征（图片、功能设计等）的更新快速迭代，但由于购买行为的延迟性，它也难以测量即时变化。

Geo-Level Experimentation 地域性的实验设计

上述几种方法都需要有对广告的运行机制有高度控制，所以它们都内嵌在平台供应商（Facebook，Google）的生态系统里。这些方法都依赖于针对个体的定位算法，以及实验组和对照组之间不会重叠。

然而，很多其他营销渠道并没有这样泾渭分明的条件，比如广播、电视、户外广告。并且，如果要衡量广告的长期影响，这些精确方法也不适用。

在这些无法控制如何将用户分配到控制组还是实验组的情况下，我们可以将实验分组提升到地区这一层。这基于的假设是一个用户一个时间只能出现在一个地方（当然也要考虑campaign时长和用户流动性之间的关系），所以我们可以通过地域区别来控制谁被serve了广告。

具体操作起来，可以选一些城市、州、或者DMA（designated marketing area）作为campaign的目标，并将其他一些作为对照组。这种实验方法的缺陷在于它依赖于大规模的合作。这可能需要大量的公司内部沟通，因为为了更清晰地了解ROAS，某些作为对照组地区的销售业绩会受到影响。

分析这类实验结果的方法有 Difference in Difference、Synthetic Control等。前者容易实施但可靠性不高，后者相对来说更加灵活，统计推断力更强。

总结：数据驱动营销测量

本文简要介绍了一些营销测量的方法。除它们之外，多点归因模型（bottom up）和营销组合建模（top down）同样重要。这些测量工具与模型都需要运用大量准确的数据。

建立由数据驱动的数字营销团队的关键是促进数据文化。要有效利用这些测量工具，不仅需要数据科学家的技术知识，更需要营销业务人员自身培养数据sense，以及全公司对数据质量的重视。以实验思维运行campaign并运用统计学测试知识，可以让营销人员更好地测试假设并更快从迭代中吸取经验。公司需要培训人员的数据思维并投资测量工具，让其在组织内广泛应用。

用一句话概括营销的数据文化：“如果不能测量，那就不要花钱”。

如果你想系统性深度掌握广告效果的测量方法，为自己的履历增添一个高含金量的企业级项目的话，那么一定不要错过MarTechApe的《A/B测试企业级实战项目》！

在《A/B测试企业级实战训练营》中，你将获得：

• 真枪实弹的A/B测试项目实操，真实数据+五大应用案例，从零学会A/B测试的里里外外！

• 为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！

• 从0到100真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。

• 经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！

• 深度学习A/B测试实战中常见的测试陷阱及避免方法。

• 牢固掌握公司里A/B测试项目中的实际SQL应用，为A/B测试搭建数据库、清理数据、创建数据集。

• 学会用Python自动化实现A/B测试，为你的老板提高100%的工作效率！

  接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。

• 对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！

• 各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。

点击下方图片跳转至课程页面，了解更多项目详情：