A/B Testing，这是个强大且应用广泛的实验方法，却被很多人低估它的价值。

2012年，一个Microsoft的员工想改一下广告标题在Bing的搜索引擎中展示的方式。其实这个做起来并不太费力气，只需要一个工程师写几行代码就行了。但当时这个想法并没有受到项目经理的重视。直到6个月之后，一个工程师重新拾起了这个idea，并且在Bing上launch了一个简单的实验，让一部分用户看到广告展示的改变，而对另一部分人则保持原本的展示方式，用这个方法来测量这个广告展示方式的改变所带来的影响。

结果是惊人的。几小时内，这个变化就产生了异常高的收入，甚至让员工们以为这是个bug。事后人们发现，这个展示方式的改变居然帮助提升了12%的收入——大约是一年$100M的样子。这几乎是Bing历史上最牛的赚钱主意了。

就这样，一个简单的基于假设检验的实验方法，就这样第一次在Advertising Industry受到了人们的重视。

现在，相信很多人在工作中，都会遇到要run A/B testing的时候；或者在求职时发现，几乎所有和Marketing Analytics有关的岗位都会要求候选人懂A/B testing。

其实在Media Advertising Industry，像A/B Testing这样的方法被称为Media Test & Learn。而且Test的对象不仅仅是产品的特征属性，还涉及广告的Frequency、Flighting、Channel、Target等等Media Advertising独有的属性。那有没有一门课，可以系统性地讲解A/B Testing以及它在Advertising领域的应用呢？

前Ebay的高级商业分析师在MarTechApe平台上隆重推出

A/B Testing 101课程！现在就让我们一睹为快吧！

 

【课程大纲】

6节课教你学会A/B Testing原理、实验设计方法、A/B Testing前沿应用

Lesson1: Introduction of Media Test & Learn

• 什么是Media Test&Learn？

• 为什么我们需要在广告营销领域用Media Test & Learn？

• 在实际工作中会做哪些关于广告的实验？

• 有哪些Test的对象？

Lesson2: A/B testing - Design an experiment

• 如何设计一个实验、设计中注意的事项

• 设计实验的6个步骤

• 如何计算最小样本量

Lesson3: A/B testing - Analyze the result

• 检验实验数据的可靠性和完整性

• 如何分析实验结果

• 如何根据样本来估计整体均值或比例的置信区间

• 如何针对某一指标/metrics来判断实验组和对照组的区别在统计上显著

• 如果想同时test多个指标/metrics，应该注意哪些事项？

Lesson4: PSA/Ghost ads

• 什么是PSA

• 为什么我们需要PSA

• PSA的劣势

• 什么是Ghost Ads？

• PSA和Ghost Ads的区别

Lesson5: Media Campaign ROI/lift

• ROI Metrics

• Self-Selection Bias选择偏差

• 因果影响分析

Lesson6: The limitation of Test and Learn

• A/B testing的局限

• Universal Control Group

• Multi-Armed Bandit

【课程老师】

5年Advanced Analytics工作经验、Ecommerce & Gaming两大最热行业背景

• 前Ebay Senior Business Analyst

• 目前在美国第二大电竞公司Electronic Arts从事Advanced Analytics的工作

• 拥有五年在美营销分析经历，擅长各类Media Test & Learn

【为什么你有必要上这门课？】

• A/B test应用场景广泛，工作中非常容易遇到

• 即使你在统计课上学过假设检验，但是实际工作中的A/B Test还是与书本里教的不同

• 网上大多数A/B testing学习资料仅针对website或product的A/B testing。鲜有test Flighting、Audience Target、Frequency等偏营销领域的Media Test & Learn。针对产品的A/B testing你可能见过，但针对Media Advertising的完整课程，MarTechApe独家首发

【课程安排】

• 课程分为6节，每节课均为录播视频。PPT、课件等材料均可下载。

• 全部课程均已上线，购买后立即全部解锁，学员可在任何时间登陆课程进行学习。