传说中的A/A测试，到底是什么？
是否应该进行A/A测试是一个经常引起讨论的问题。很多企业在决定实施A/B测试时，对是否应进行A/A测试并没有足够的了解。在这篇文章中，我们将会讨论，为什么一些企业选择进行A/A测试，在A/A测试期间的注意事项，以及企业如何决定是否投资某种A/B测试工具。
什么是A/A测试
相比A/A测试，大家也许更熟悉的是A/B测试。A/B测试就是将流量引到两个不同的页面--对照组和实验组（实验组是原始页面的另一个版本），以查看哪个版本的转化效果更好。和A/B测试一样，A/A测试也是将流量吸引到两个页面来看哪个效果更好。那么A/A测试和A/B测试到底有什么不同呢？
在A/A测试中，用户被随机分配到两个页面组，而这两个用来对比的页面是完全相同的，但在A/B测试中是使两个不同页面来进行实验。那为什么要用两个完全相同的页面来做实验？这是因为A/A测试的实验目的并不是为了发现两个版本是否会带来转化的提升，而是为了验证两组实验用户之间是没有显著差别的。
A/A测试在实际工作中有什么用？
当公司采用新A/B测试工具时，会选择先完成A/A测试。A/A测试可以为他们提供如下3大帮助：
检查A/B测试工具的准确性
为将来的A/B测试设置基准转换率
确定最小样本量
检查A/B测试工具的准确性
打算购买A/B测试工具或希望切换到新测试软件的公司，可以通过进行A/A测试，来确保新软件可以正常运行并已正确设置。
电商转化率优化专家Tomasz Mazur进一步解释道：“ A/A测试是进行A/B测试之前，进行健全性检查的好方法。当你开始使用新工具或寻求新的实施方案时，A/A测试有助于检查您在测试工具和网页分析工具中看到的访问者数量之间是否存在数据差异。此外，这有助于确保你的假设得到验证。”
在A/A测试中，当实验组和对照组之间绝对没有差异时，那么就可以判断两组用户在关键维度上是一样的、不会对接下来的A/B测试产生混淆与干扰因素。但是，当A/A测试在两个相同变体之间产生了获胜者的情况下，那后续的A/B测试的结果就会是有问题的。导致A/A测试中出现两组结果不均的原因包括：
该工具未正确设置。
测试未正确进行。
测试工具效率低下。
以下是Americaneagle.com(美国服装品牌) A/B测试和优化总监Corte Swearingen对于A/A测试的看法：“通常当我们不确定某个测试平台，或需要额外的证据来证明该平台能有效运行时，我们就会进行A/A测试。确实没有比测试采取完全相同的页面而不进行任何更改更好的方法了。A/A测试其实就是想“戏耍”一下测试平台，看看它能不能兵不厌诈。
为将来的A/B测试设置基准转换率
在运行任何A/B测试之前，需要知道将要用作与结果进行对比的基准转换率。A/A测试可以帮助设置网站的基准转化率。让我们来看看这个示例：假设正在运行一个A/A测试，其中实验组A在10,000个访问者中产生了303个转换，而相同的对照组B在10,000个访问者中给出了307个转换。当两个版本之间没有差异时，A的转换率为3.03％，B的转换率为3.07％。因此，将来A/B测试的基准转换率范围可以设置为3.03-3.07％。如果A/B测试的实验组结果是在这个范围内的，那就说明在A/B测试中的实验组和控制组没有显著差异。
确定最小样本量
A/A测试还可以帮助你计算出所需的最小样本量。如果样本量较小，可能就会损失一些重要的用户细分流量。样本量越大，就更有可能在实验中囊括可能会影响测试结果的所有重要用户细分。Corte说：“ A/A测试可用于帮助客户理解。在假设对照组比实验组产生更好结果之前，要让足够多的人参加测试的重要性。”
Avast(杀毒软件)的高级电商与优化专家Michal Parizek也有类似的想法。他说：“去年，在Avast，我们进行了全面的A /A测试。它为我们提供了一些宝贵的见解，值得我们去做！” 根据他的说法，“在最终评估之前去检查数据总归是一件好事。” 在Avast，为了进行比较，他们对两个主要部分进行了A/A测试 -- 使用产品免费版本的客户和使用产品付费版本的客户。
Avast的A/A测试进行了12天，他们从中获得了很多数据。总体来看，该测试涉及超过1000万用户和6500笔交易。在“免费”细分中，他们看到转换率差异为3％，平均订单价值（AOV）差异为4％。在“付费”细分中，他们看到了2％的转化率差异和1％的AOV差异。（注意，以上结果是A/A测试结果，A/A测试的目的是为了证明结果没有显著差异。）
“所有这些差异在统计数据上都是不显著的，” Michal说。他补充说：“鉴于A/A测试的这些结果，我们设定了内部A/B测试的阈值。例如，如果A/B测试的转换率或AOV的差异小于5％，我们就需要注意这个提升不是实验操纵的结果，而是偶然的。”
Michal在总结自己的观点时说：“ A/A测试有助于发现如果不认真对待A/B测试可能会产生的误导。这也是发现跟踪和设置中所有错误的好方法。”
A/A测试的问题
简而言之，A/A测试中固有的两个主要问题分别是：
任何实验设置中始终存在的随机性因素
对大样本量的需求
让我们来一一仔细看看这两个问题：
1. 随机性因素
正如前面所指出的，检查测试工具的准确性是运行A/A测试的主要原因。但是，如果发现对照组和相同实验组的转化率有区别怎么办？是否总将其归因于A/B测试工具中的问题？
A/A测试的问题是，总是涉及随机性的元素。在某些情况下，该实验获得的统计价值纯粹是偶然的，这意味着A及其相同版本之间的转化率变化是概率性的，并不表示绝对确定性。
TomazMazur用一个真实的例子来解释随机性。“假设您在同一区域建立了两个完全相同的商店。纯粹出于偶然或随机，两个商店的结果可能存在差异。这并不总是意味着A/B测试平台效率低下。”
2. 对大样本量的需求
A/A测试的一个问题是它可能很耗时。测试相同版本时，需要大量样本才能确定A是否比其相同版本更受青睐，这将花费太多时间。
正如ConversionXL(面向做优化和数据驱动的营销人员的在线研究和培训产品)的一篇文章所述，“与A/B测试相比，为了证明没有明显偏差所需要的样本和数据量都是巨大的。在对两个可口可乐进行闭眼品尝测试时，需要多少人，才能得出人们对两者都同样喜欢的结论？500人，5000人？” ConversionXL的专家解释说，优化程序的目的是减少时间，资源和金钱的浪费。他们认为，尽管进行A/A测试没有错，但仍有更好的方法来进行测试。他们在帖子中提到：“开始的测试量很重要，但每个月要完成的测试次数，以及从多少测试中可以学到有用的东西是更重要的。进行A/A测试会消耗“真正的”测试时间。”
其他方法和A/A测试的替代方法
一些专家认为，A/A测试效率低下，因为它会消耗大量本可以用于运行实际A/B测试的时间。但是还有其他人说，对A/B测试工具进行检查非常重要。仅通过A/A测试不足以确定是否应优先使用某一种测试工具。在做出关键业务决策时，例如购买新的工具或软件应用程序进行A/B测试时，还应考虑许多其他事项。
Corte指出，尽管A/A测试没有替代品，但是在实施新工具时还必须考虑其他因素：yangben
1. 测试平台是否可以与网站分析程序相结合，以便可以进一步对测试数据进行切分以获得更多见解？
2. 该工具是否可以分隔出对业务很重要的特定细分受众群，并仅测试这些细分受众群？
3. 该工具是否可以立即将100％的流量分配给获胜组？对于复杂的需要彻底重新设计的测试而言，此功能是非常重要的，因为标准化可能需要一些时间。如果测试工具允许立即将100％分配给获胜组，那么就可以在CMS (Content Management System 内容管理系统）中建立永久页面的同时持续获得改进的好处。
4. 测试平台是否能够提供并收集用于制定其他测试思路的，有关站点访问者定量和定性信息的方法？比如像如下工具和数据：热图，滑动图，访客记录，退出调查情况，页面级调查和可视表单渠道之类的工具。如果测试平台未集成这些工具，那么平台是否允许与第三方工具集成以用于这些服务？
5. 该工具是否允许个性化？如果对测试结果进行了细分，并且发现一种类型的内容最适合一个细分受众群，而另一种类型的内容更适合第二细分受众群，那么该工具是否可以为不同的受众群体永久提供这些不同的体验？
也就是说，仍然有一些专家或人员会选择其他方法，例如在A/A测试中对数据进行三角测量。使用此过程意味着需要两组性能数据进行相互对比检查。使用一个分析平台作为基础，将所有其他结果与之进行比较，以检查是否存在错误或需要修复的问题。
另一个争论：当通过运行A/A/B测试并获得更有意义的信息时，为什么只选择做A/A测试呢。A/A/B测试中，仍然可以比较两个相同的版本，同时还可以测试B变体的某些更改。
总结
当企业面临实施新测试软件应用程序的决定时，他们需要对工具进行彻底检查。A/A测试是某些企业用来检查工具效率的一种方法。连同个性化和分组功能以及本文中提到的其他一些指示，该技术可以帮助检查软件应用程序是否适合实施。
MarTechApe的《A/B测试企业级实战训练营》以真实商业场景中的复杂A/B测试问题为项目背景，让学员在两个月的时间里，使用百万量级原始数据，搭建完整的A/B测试流程。在过去开办的三期《训练营》中，我们为顶尖科技公司输送数据能力强、实验经验丰富、统计基础扎实的数据人才。不论你本来是什么背景，都能通过这门课程，打开盛行“测试文化”的互联网高科技公司的大门！
👇点击下方图片，了解项目详情👇
MarTechApe《A/B测试企业级实战训练营》第4期正在火热报名中🔥！
每一期训练营，我们只招收20名学生。先到先得，遵循阶梯价位，优惠逐额递减，越早报名越优惠！
