原创：MarTechApe

疫情期间，求职不易。都说本届毕业生遭遇了最难求职季，但是在这么艰难的环境下，还是有很多找对了方法的同学，成功斩获了知名公司的offer。今天，我们邀请了Chloe与Elsa，这两位《A/B测试企业级实战训练营》的往期学员，来回顾她们的求职、面试经历，以及她们对《A/B测试企业级实战训练营》的详细课程体验。

让我们来看看这两位同学的故事吧！

1. 《A/B测试训练营》学员Chloe：

关键词：
1. 学校教不了我工作中的真实场景
2. 面试里的Case Study在Bootcamp中做过了

我是罗彻斯特大学读的商业分析（Business Analytics）专业的毕业生。我在罗村上学的时候，并没有做过A/B testing相关的课程项目，虽然有课程教过A/B testing的概念，但都是很基础很表层的东西。

我遇到过很多面试都会问A/B测试的实操细节问题，如果你只是学过学校课堂上的A/B testing原理、但却没有实际做过的话，是没法回答出来的。

此外，大部分学校项目的数据量都不大，而且也被老师事先处理过了，我们学生拿到的数据和工业界公司里的真实原始数据是完全不一样的。所以这也是为什么我想要报名MarTechApe的A/B Testing bootcamp的原因——一方面，我希望有一手经验，方便我跳槽到更大的公司（报名时，我正在一家很小的电商初创公司做数据分析师），另一方面，我希望自己有数据quality check和data cleaning的经验，这是学校课程里没法给的。

在学习MarTechApe的A/B Testing Bootcamp期间，我拿到了Viagogo的Product Analyst的面试。Viagogo是我非常想去的公司，它今年两月份刚用40.5亿美元从ebay手里收购了美国票务巨头Stubhub，变成了一家占领北美、欧洲、亚洲、澳洲、拉丁美洲体育和娱乐票务的全球巨头。

在面试的时候，面试官随机考察我如何衡量网站上某个指标的变化。我就举例说明，如果在产品细节页（product detail page）上加入免运费信息的话，我们首先要确立我们的目标和key metrics，比如，如果我们希望的是更多人加入购物车，那么我们的primary metric就是ATCR（add-to-cart rate），我们的secondary metric可以是bounce rate和conversion rate。这些都是我从A/B Testing Bootcamp项目里学到的。

在我说完这个例子之后，面试官非常满意，然后就给我发了一个product case study，要求我分析A/B testing的数据并且最后写一个报告。整个case study面试正好是MarTechApe的《A/B测试企业级实战训练营》里做的final project的简易版本，所以我就结合老师上课的code来处理数据并计算lift以及significance level，也结合了在bootcamp中做presentation时Emma老师给出的评价。最后在这个case study中做出了非常完善的report并且成功进入了下一轮的面试。

MarTechApe的A/B测试训练营老师是Emma老师，Emma老师人很有耐心，讲得也很清楚！我们上课的时候有时候会有各种各样的问题，Emma老师全都很耐心地回答。课后老师还会和同学讨论A/B testing相关的各种问题，我从老师给其他同学的回复和讨论中也觉得受益匪浅！Emma老师最让我喜欢的是她给所有同学的final project非常细致的反馈。因为对于analyst来说很重要的一点是要把分析结果讲成一个完整的故事，这是我需要不断提高的地方。

2.《A/B测试训练营》学员Elsa：

关键词：
1. 我靠Bootcamp实现金融转数据
2. 面试问题在Bootcamp中一网打尽
3. 对电商数据分析有了深刻了解

本科国内小会计一枚，后来听了教授的建议研究生出国读了金融，想象着毕业后可以浪迹华尔街哈哈。但是实际上对自己擅长什么喜欢什么并不知道。

来到这边读研的过程中，因为不喜欢没日没夜的做几十页阅读理解，所以阴差阳错的选修了数据相关的课程，似乎突然唤醒了体内理科生的细胞。因此后来找到一些Data的实习，但是发现作为一个start-up的intern其实大部分时间都是在做data cleaning，而且接触data的量级都很小，与我真正想做的“分析”还是不同。随后，面了几个Analyst的职位，发现之前internship的经历被面试官一眼望到底，也属无奈，毕竟所学非所长，又没有什么拿得出手的project证明自己的能力。

这个时候看到了MarTechApe的AB Testing Bootcamp，发现是自己可以上手的项目，很贴近企业真实的工作，数据规模也很大，而且从cleaning到analysis再到presentation有导师一直辅导并且提建议，所以就报名参加了这个bootcamp。

完成Bootcamp后，其实也恰巧因为疫情的原因，留给entry level的工作机会并不是很多，但是在Bootcamp的导师推荐和自己的Networking下，拿到了Chegg, Plymouth Rock的面试机会。(编者注：Chegg于2013年在纽交所上市，被称为美国版的“作业帮”）

面试官毫无疑问都问到了这个AB Testing Bootamp的项目。我记得首先让我介绍这个项目的流程，最后的impact是什么？为什么得出这样的impact，依据是什么？为了设计这个实验需要什么assumption？以及如何检验assumption成立？如果得到这样那样的结果，你会建议怎么做？很多问题Emma老师在上课的时候就已经讲过了，所以回答还是比较有把握的，而且面试官也给出了肯定的反馈。

这个Bootcamp我最喜欢的部分是计算完所有的Lift，Z-Score, P-value之后开始分析的部分，我需要站在customer的角度上去挖掘每一个数据背后的原因，并且把他们structure成一个compelling story。在presentation的过程中，还需要考虑到audience有可能提出的各种各样的问题。这个是我在学校和实习中很少有机会接触到的。

让我印象深刻的是最后一节课的展示，Emma老师让我们把这场presentation当成是向公司里的product manager做报告的机会。她作为一个product manager，在整个过程中不断提出问题，我就需要不断沟通和解释，根据老师的反馈课后继续优化我的思路和展示。在真实的工作场景中很大机率也是这个样子，而我在学校和实习中很少有这样的机会锻炼到critical thinking & communication skills，这也是我觉得这个bootcamp最吸引我的部分。

我觉得学完这个Bootcamp，对E-Commerce的domain knowledge 和Data Analyst的工作流程和内容有了更深入的了解，而且这个项目在疫情的大环境下keep me upskilling，后来也成为我在LinkedIn上和别人Networking的一个很好的谈资。

最后我还想感谢一下Emma老师，上课的过程中一直努力还原真实的工作场景；对于我们的问题总是会耐心的一一解答，而且straight to the point ；面试辅导也是贯穿Bootcamp始终，包括Behavioral Question，SQL Question和Case Study，这些在后来的面试中对我的帮助很大。

总之非常感谢MarTechApe这个Bootcamp，给我一次重新审视职业发展的机会，也多谢这次疫情，可以让我静下心来好好学习，准备接下来的挑战~

获得这两位学员盛誉的MarTechApe《A/B测试企业级实战训练营》，以真实商业场景中的复杂A/B测试问题为项目背景，让学员在两个月的时间里，使用百万量级原始数据，搭建完整的A/B测试流程，并获得履历提升全套指导。

在过去开办的两期《A/B测试训练营》中，我们为顶尖科技公司输送数据能力强、实验经验丰富、统计基础扎实的数据人才。不论你本来是什么背景，都能通过这门企业级实践课程，打开盛行“测试文化”的互联网高科技公司的大门！

以下为往期学员的战绩榜：

今天，MarTechApe《A/B测试企业级实战训练营》正式开启第5期报名！
每一期训练营，我们只招收20名学生。先到先得，遵循阶梯价位，优惠逐额递减，越早报名越优惠！

1. 你将获得

真枪实弹的A/B测试项目实操，百万量级真实数据+五大应用案例，从零学会A/B测试的里里外外！
为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！
从0到100真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。
经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！
深度学习A/B测试实战中常见的测试陷阱及避免方法。
牢固掌握公司里A/B测试项目中的实际SQL与Python应用，为A/B测试搭建数据库、清理数据、创建数据集。
学会用Python自动化实现A/B测试，为你的老板提高100%的工作效率！
接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。
各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！
专业的Bootcamp经历简历模版与认证证书，可以晒到LinkedIn等求职网站，大大提高面试邀请率！
福利升级：训练营以往只内推成功从训练营中毕业的学生。但在疫情期间，所有A/B测试实战训练营学员，均可获得全职或实习岗位的内推机会！

2. 训练营老师介绍

Emma老师

美国知名电商Wayfair高级商业分析专家
拥有多年电商A/B测试实战经验，及新人教授经验
精通Advanced SQL, Python等数据分析工具
设计推出的A/B测试，为公司带来上千万美元的收入

Emma老师对学员知无不言，有问必答！无论是面试中遇到的问题，还是工作中遇到的困惑。

3. 训练营课程内容

整个Bootcamp历时8周，每周3小时课程，共计24小时课时。
周末线上实时授课，课后完成老师布置的作业，助教团队在班级群内随时答疑，直播录像永久回放。
五大课程模块：
- A/B测试商业训练（案例、变量设计、测试计划）
- A/B测试数据技能训练（数据源概况、SQL数据库建立、Python自动化分析）
- A/B测试实验设计训练（A/B测试 vs 准实验、实验步骤、真实商业环境中的实验挑战）
- A/B测试统计训练（统计分析、深度解析）
- A/B测试面试训练
课程内容涵盖了A/B测试在各大互联网科技公司中的完整工作流程：
- A/B测试统计基础与应用场景
- A/B测试实验设计
- A/B测试假设检验、变量选择、流量计算与实验周期计算
- A/B测试各类应用场景中的实验变体与前后测实战分析
- 用SQL与Python完成A/B测试项目实战
- A/B测试结果解读与高阶统计
- 结果展示
每位学员将有一套亲自做的A/B测试成果作品
每位学员获得A/B测试面试真题解题辅导
结课后，每位学员获得提升简历的Industry Project Experience完美描述，所有学员获得内推机会！

1. A/B测试商业训练

了解A/B测试在顶流科技公司中的各类应用场景
了解A/B测试适用的商业问题与它的局限
了解科技公司产品团队如何使用A/B测试
面对商业问题，如何设计有效的假设？
如何制定A/B测试的实验计划与执行框架？

2. A/B测试数据技能

搭建一个真实的A/B测试实验数据库
了解A/B测试中常面临的数据问题
用SQL对数据进行清洗与转制，完成样本选取、组别分配、变量选取等实验步骤，为A/B测试做好数据准备
用Python搭建A/B测试分析流程

学员在项目中重点使用SQL与Python，全方位了解A/B测试中涉及的数据库搭建、样本选取、实验组与测试组分配、变量选取等数据分析步骤。并且充分掌握用Python搭建A/B测试结果分析流程，实现A/B测试自动化，对真实工作中的A/B测试分析了如指掌。简而言之，项目后，你不仅将牢固掌握SQL与Python等最热门的数据分析软件，还将成为真正的A/B测试技术流，完全掌握A/B测试这项数据分析工作中最重要的技能。

3. A/B测试实验设计

充分了解A/B测试的实验步骤
设立零假设与被择假设
确认实验指标，设计实验变量
根据指标类型确认统计检验方法
估算样本量，确定实验周期
置信区间与统计功效
A/B测试中的各类偏差
样本量不够或其他实验条件不满足时的实验设计
了解准实验与A/B测试的应用区别
为项目案例设计A/B测试实验

学员在项目中将透彻学习实验方法与实验设计。在这个环节中，将研究如何制定实验方案，以提高实验效率，缩小随机误差的影响，并使实验结果能有效地进行统计分析。学习在工作场景中如何用A/B测试等实验来提高用户激活/活跃/留存等关键的产品指标，提升产品功能表现，真正理解A/B测试的商业价值与业务地位。

4. A/B测试统计训练