品牌广告的效果真的不好测量吗？
原创：MarTechApe
衡量不同渠道的获客效果从来不是一件容易的事情，因为你在不同的渠道中同时进行者两类广告：
1）直接以提高转化率为目的的广告战役（可以理解为效果广告），和
2）以提升品牌知名度为目标的广告战役（可以理解为品牌广告）。
效果广告和品牌广告分别指什么？
效果广告，简单来讲就是：可以看到广告效果的广告，效果广告最重要的一点是当天投入，当天可以见效果，这是互联网广告的最大优势。我们在移动端投的广告，消耗多少钱，有多少点击量，多少下载量和注册量，都可以监控到，用数据来展示出来。我们在效果广告上投的每一分钱，有哪些带来了用户，有哪些被浪费掉了，都能明明白白的看到。
品牌广告，通俗来讲就是：让用户知道某个产品，比如我们要买衣服，脑子浮现出的牌子，就是打品牌广告的一种结果。它的特点是长、久、慢，很难测量出直接的广告效果。
那今天我们就来聊一聊如何测量品牌广告对企业总销量的影响。
关于衡量品牌战役有效性最常用的方法是，给你的广告打上特殊的标签，或者用不同的URL将消费者导入到特殊的活动页面。但是这些都不是最好的方法。
衡量品牌战役的其他方法（但这些方法的效果也仍然不明显）：
在线品牌调查（活动前后）
测量“点击率”（View Through Rate）
衡量某段时间内直接/品牌流量的增长
搜索量相关的数据（Google trends/keyword planner Adwords）
测量品牌知名度广告战役的新方法
假如你想要实施品牌推广的实验，并且用以上的方法，2-4周以后你只会观察到轻微的增长，但是不知道转化从哪里来。你告诉自己这个实验无效，你没有得到任何有帮助的结果，只是白白浪费了10–20k真金白银，仅此而已。而且这样类似的结果我也亲自实践过好多次。
所以最近我决定用不同的方法衡量品牌宣传的效果。简单来说就是通过比较两个地区（一个有品牌战役，一个没有）来测量效益。在此我以荷兰的两个省为例。本实验（类似于A/B Testing）的重点在于要得出有效的结论，为此我们需要严格控制变量，确保我们在比较相同的东西。以下是我的方法：
步骤 1 - 扪心自问我们可以开展这个实验吗？
1.1 获取历史数据
首先我们需要知道该实验能否真正运行。目前依旧有许多公司在运行着一开始就注定失败的实验，或许因为设置错误，或者因为原始数据的错误。本次实验中，我们根据历史数据观测趋势，指标的变动，并且选择正确的样本。而且我们不会一开始就是用成百上千的数据，所以B2B和创业型公司也一样可以尝试。
1.2 数据分类
首先将数据依照省份归类，这样可以观测到不同省份之间趋势的不同。如下图所示，我们初步断定没有什么不同，但是不要着急下结论，接着我对每一个省份做了一个线性回归。它会告诉你不同省份各自的增长/下降趋势是否一致。除此之外，你还可以根据得出的R-squared 判断该值是否可靠。
图1.1 每个省份的线性趋势线
由此可见，不同的省份之间有着完全相同的趋势，唯一的不同只是不同省份绝对值的差异。该步骤尤为重要，因为这个是我们接下来要运行实验的基石。接下来的问题就是哪些省份最适合做A/B Testing。
步骤 2 - 如何选择合适的区域
我注意到趋势线朝着同一个方向移动，但是我想知道哪些区域最为相似，这样我就相当于在用苹果和苹果做比较。关于这部分，我和同事进行了头脑风暴，来找到哪些计算指标可以帮助我们找到最具可比性的区域：
2.1 计算移动平均值
我们首先计算移动平均值。通过对时间序列数据取移动平均值，可以平滑短期波动并突出显示长期趋势或周期。这样相当于在完整的数据集中取得一系列不同子集的平均值。
图1.2：每个省份的移动平均值曲线
图1.2 展示的是每个省份取移动平均值后的曲线图。由于我们将短期波动进行平滑处理，我们能够更好的看到每个省份的不同趋势。接下来，我们将不同省份的长期趋势曲线叠加到一个图中，如下图所示。
图1.3：X省和Y省趋势图
通过把X省和Y省的趋势图放到一起对比，我们发现趋势线上多个区域的移动平均值有相同的趋势，并且绝对值成比例。这一点非常重要，因为我们要观察到清晰的趋势线变化。
2.2 计算相关性和平稳性
通过相同的移动平均值趋势线，我们选出两个相似的省份。我们通过计算相关性来进行进一步验证。这里简单提醒一下，接下来的内容会很有些枯燥。相关性系数可以用来计算线性关系的强弱以及正负相关性。这里的趋势线是同方向的，所以系数是正的。
最后我们来检查平稳性。如果一个参数，比如平均值或者方差，不随着时间变化（没有趋势或季节变动），那么我们可以说它是平稳的。这对于时间序列数据的分析来说很重要， 在我们这个例子中也是一样重要。因为如果不考虑这个参数，单纯的考虑相关性可能会出现误导。
我们的例子中，虽然省份销量的平均值是随着时间变化的。但是由于是正相关的，省份之间的相对值是不随时间变化的。B一直是A的x%。也就是说我们找到的这两个省份是平稳的。如图1.4 所示。
图1.4 X，Y 省份之间的稳定性分析
2.4 比较其他因素
最后一步是看其他因素（主要是人口学方面的指标）。我们想要有可比性的省份是有相似的人口数量的。如果我们进一步考虑，也要分析比较诸如政治偏好，平均年龄或者人口密度的相似性。但是对于我们这个特定的实验，我们有足够的信心只比较人口数量就可以。
图1.5 比较其他因素
步骤 3 - 如何衡量品牌战役的效果？
我们已经选好了在趋势和其他因素上有足够可比性的两个省份。我们现在来回答最初的问题：我们能否改变两个省份的趋势？如何判断这种趋势变化是因为我们的品牌推广战役在起作用？
为了回答这个问题，我们可以在省份X进行品牌战役推广，但是在同时间不对省份Y做任何战役推广。然后记录下面的变化。
3.1 测量趋势和相对数值的变化
我们预计在进行对比实验的时间里，可以观察到趋势的变化，而这个变化只有在之前趋势相同的情况下才有意义。另外我们认为二者的相对数量应该有变化，而且二者区别会越来越小，甚至最后看不见区别。在这种情况下，可以认为这种数量上的变化是由于品牌战役产生的。
图1.6 趋势图的变化
从图1.6中我们可以看到，在推行品牌战役的时间里，一个省份相对另一个省份有明显的变化。引起注意的是，在广告战役期间，两个省的绝对数值几乎是一样的，然而在战役结束后，两省之间的趋势线差距逐步缩小，趋势线逐步靠拢。因此，这是我们品牌战役效果的第一个可量化的信息。看来，品牌推广战役有一定的效果。但是仅仅测量趋势的变化是不够的。到底有多少变化是真实的呢？
图1.7 相对数值的变化
从上图可以看到在广告战役前中后明显的一个差别。这进一步证明了趋势的一个变化。而且给出了品牌战役的可以量化的一个影响。接下来我们要考虑这样的一个变化是随机的还是品牌战役带来的。也就是要计算它是否具有统计学意义。
3.2 统计学显著性的测量
我们通过测量统计学显著性，来看趋势的变化是由于随机效应还是品牌战役的影响。在计算之前我们用相对量做出直方图然后计算标准差。这可以反映出我们相对值最低要显示出多少的提升才算达到统计学的显著。
图1.8 这里可以看到分布图以及统计学上显著的最小标准差
在实验的最后，战役开展4周以后，我们做出新的直方图。这个图也是基于战役期间的相对量。在新的直方图中，相对量的提升要至少达到两倍的标准差，才能算是统计学上的显著。试验结束后，我们进行T-test 来比较平均值。我们要来判断这个效果变化是否显著。如图1.9所示，我们可以说在95%的置信水平上，这个变化是品牌战役带来的影响。
图1.9 战役前后差别显著
3.3 广告战役是否有效
现在我们已经对我们的品牌战役有一个完整的认识了。总结一下：
首先，我们看到不同区域在战役中和战役后一个清晰的趋势变化。
我们可以通过计算相对量来衡量我们战役所产生的影响。
最后， 由于统计学足够显著，我们可以有信心把绩效的增长归因于品牌战役。
通过这种分析方式来执行品牌战役实验能够给你想要的结果：不会再有没有定论的实验，而是有见地的结果。所有可以测量的改变，给我们有意义的指导。
当你决定开始用这样的方式来衡量品牌战役的效果时，要确保比较的不同区域是有相同的趋势的，这样的话，测量出的变化才会有统计学的意义。最后我想要给你们分享一些在品牌战役上需要跟踪的绩效指标。
步骤 4 - 评估结果
现在你知道了关于如何衡量品牌战役影响的理论，我们终于可以直接得出结论了。剩下的最重要的问题是，当你在省内开展品牌活动时，你需要监控哪些指标。在本实验中，我们对每个省份测量了以下指标：
品牌流量
总流量
交易数量
转换率
每次转化费用 / 客户获取成本
最后一个指标很重要。你可能会看到交易量大增，但别忘了你花的钱可比这些还多。众所周知，在你的品牌战役结束后，品牌广告系列的影响也依旧持续。因此，不要忘记长时间测量上述指标。例如，在广告活动期间，你的每次转化费用（CPA）相对较高，但是当你停止品牌广告活动时，此举会在以后变得更具成本效益。
结论
这个实验的目的是了解品牌知名度战役的影响。我们不仅关注比例和总数，还关注更小范围的趋势变化。我们能影响趋势和相关数字吗？就因为这些数字在统计学概念上有重要意义，我们就能够假设这是由品牌活动引起的吗？这些衡量品牌战役的方法也可以应用到不同的实验中(不仅仅是品牌战役)。想想那些很难衡量归因的实验吧。所以，下次当你想开始一个品牌战役时，不妨从较小的规模开始，并应用上述技术，以验证你的实验并从中学习。
如果你也想通过数据分析来更好地衡量品牌知名度战役，如果你也想要熟练掌握各种数据分析需要的核心技能（SQL, Database, Statistics, Tableau等）并且拥有过人的商业意识，那就千万不要错过MarTechApe的宝藏项目《营销组合建模企业级实战训练营》，一个专门培养优秀数据分析师/数据科学家的企业级别实战项目，拥有企业真实数据（改编）与行业标准流程。项目经历可成为简历上的履历！本周末就要开课啦！
训练营的学员收获了:
真正意义上的“用数据和模型解决营销中最重要的问题”的经历。
熟练掌握SQL、R、Tableau等时下最流行的数据处理语言，并用这些技能解决实际问题。
大大提高Media/Advertising Industry的商业意识，熟悉不同媒介渠道的广告活动对不同商业指标的不同回报率（ROI）与有效性（Effectiveness），学会用“营销效果”的视角看待营销活动，理解各大公司市场营销部门、消费者洞察部门的痛点。
跳出学校作业的框架，上手真正商业情境中、实际工作中的实战案例。让校园与实际工作无缝衔接。将学到的Analytics思维方式泛化到其他应用场景，面对Case Study建立系统性解决思路。
提升项目演示Presentation技能，学会如何从原始数据中挖掘具有意义的故事。为客户解决实际问题，提高Business KPI。
完成项目后，辅导老师将帮助你利用这一个惊艳的项目背景打造最引人注目的简历；所有学员获得内推机会，优秀学员获得一对一面试辅导。