A/B Testing

A/B Testing

35.00

前Ebay的高级商业分析师在MarTechApe平台上隆重推出 A/B Testing 101课程!6节课教你学会A/B Testing原理、实验设计方法、A/B Testing前沿应用

Quantity:
Add To Cart
WeChat Screenshot_20180617175731.png

A/B Testing,这是个强大且应用广泛的实验方法,却被很多人低估它的价值。

2012年,一个Microsoft的员工想改一下广告标题在Bing的搜索引擎中展示的方式。其实这个做起来并不太费力气,只需要一个工程师写几行代码就行了。但当时这个想法并没有受到项目经理的重视。直到6个月之后,一个工程师重新拾起了这个idea,并且在Bing上launch了一个简单的实验,让一部分用户看到广告展示的改变,而对另一部分人则保持原本的展示方式,用这个方法来测量这个广告展示方式的改变所带来的影响。

WeChat Screenshot_20180617175758.png

结果是惊人的。几小时内,这个变化就产生了异常高的收入,甚至让员工们以为这是个bug。事后人们发现,这个展示方式的改变居然帮助提升了12%的收入——大约是一年$100M的样子。这几乎是Bing历史上最牛的赚钱主意了。

就这样,一个简单的基于假设检验的实验方法,就这样第一次在Advertising Industry受到了人们的重视。

现在,相信很多人在工作中,都会遇到要run A/B testing的时候;或者在求职时发现,几乎所有和Marketing Analytics有关的岗位都会要求候选人懂A/B testing。

其实在Media Advertising Industry,像A/B Testing这样的方法被称为Media Test & Learn。而且Test的对象不仅仅是产品的特征属性,还涉及广告的Frequency、Flighting、Channel、Target等等Media Advertising独有的属性。那有没有一门课,可以系统性地讲解A/B Testing以及它在Advertising领域的应用呢?

前Ebay的高级商业分析师在MarTechApe平台上隆重推出

A/B Testing 101课程!现在就让我们一睹为快吧!

 

课程大纲】

6节课教你学会A/B Testing原理、实验设计方法、A/B Testing前沿应用

Lesson1: Introduction of Media Test & Learn

  • 什么是Media Test&Learn?

  • 为什么我们需要在广告营销领域用Media Test & Learn?

  • 在实际工作中会做哪些关于广告的实验?

  • 有哪些Test的对象?

Lesson2: A/B testing - Design an experiment

  • 如何设计一个实验、设计中注意的事项

  • 设计实验的6个步骤

  • 如何计算最小样本量

Lesson3: A/B testing - Analyze the result

  • 检验实验数据的可靠性和完整性

  • 如何分析实验结果

  • 如何根据样本来估计整体均值或比例的置信区间

  • 如何针对某一指标/metrics来判断实验组和对照组的区别在统计上显著

  • 如果想同时test多个指标/metrics,应该注意哪些事项?

Lesson4: PSA/Ghost ads

  • 什么是PSA

  • 为什么我们需要PSA

  • PSA的劣势

  • 什么是Ghost Ads?

  • PSA和Ghost Ads的区别

Lesson5: Media Campaign ROI/lift

  • ROI Metrics

  • Self-Selection Bias选择偏差

  • 因果影响分析

Lesson6: The limitation of Test and Learn

  • A/B testing的局限

  • Universal Control Group

  • Multi-Armed Bandit

 

课程老师】

5年Advanced Analytics工作经验、Ecommerce & Gaming两大最热行业背景

  • 前Ebay Senior Business Analyst

  • 目前在美国第二大电竞公司Electronic Arts从事Advanced Analytics的工作

  • 拥有五年在美营销分析经历,擅长各类Media Test & Learn

 

为什么你有必要上这门课?】

  • A/B test应用场景广泛,工作中非常容易遇到

  • 即使你在统计课上学过假设检验,但是实际工作中的A/B Test还是与书本里教的不同

  • 网上大多数A/B testing学习资料仅针对website或product的A/B testing。鲜有test Flighting、Audience Target、Frequency等偏营销领域的Media Test & Learn。针对产品的A/B testing你可能见过,但针对Media Advertising的完整课程,MarTechApe独家首发

 

课程安排】

  • 课程分为6节,每节课均为录播视频。PPT、课件等材料均可下载。

  • 第1节课将在(5/23)美东时间今晚10pm上线。上线后,学员可在任何时间登陆课程进行学习。

  • 第2到第6节课会在每周三晚一一解锁。

     

【老学员特殊优惠】

凡是订阅了Programmatic Buying、Attribution、Marketing Mix Modeling中任意一门课的学员,可以额外享受更多优惠。我们将在学习小组内部公布优惠方式!

还等什么,赶紧来学A/B Testing吧!