是否可以按页面而不是按个人进行 A/B 测试？答案

【问题标题】：Is it possible to do A/B testing by page rather than by individual?是否可以按页面而不是按个人进行 A/B 测试？
【发布时间】：2023-04-04 14:06:01
【问题描述】：

假设我有一个简单的电子商务网站，销售 100 种不同的 T 恤设计。我想做一些 a/b 测试来优化我的销售。假设我想测试两个不同的“购买”按钮。通常，我会使用 AB 测试来随机分配每个访问者看到按钮 A 或按钮 B（并尝试通过将该分配存储在会话、cookie 等中来确保用户体验是一致的）。

是否有可能采用不同的方法，而是随机分配我的 100 个设计中的每一个使用按钮 A 或 B，并将转化率测量为 （设计 n 的销售数量）/（设计 n)

这种方法似乎有一些优势；我不必担心保持用户体验一致 - 给定页面（例如 www.example.com/viewdesign?id=6）将始终返回相同的 html。如果我要测试不同的价格，那么用户看到不同设计的不同价格要比在不同计算机上看到相同设计的不同价格要少得多。我还想知道它是否对 SEO 更好——我怀疑 Google 会“更喜欢”它在抓取页面时总是看到相同的 html。

显然，这种方法只适用于有限数量的网站；我只是想知道是否有人尝试过？

【问题讨论】：

标签： language-agnostic optimization statistics e-commerce abtest

【解决方案1】：

你的直觉是正确的。理论上，按页面随机化可以正常工作。两个治疗组在预期中将具有平衡的特征。

但是，样本量非常小，因此您需要小心。简单的随机化可能会偶然造成不平衡。标准解决方案是block 对衬衫的预处理特性进行处理。最重要的特征是您的治疗前结果，我假设它是转化率。

创建“平衡”随机设计的方法有很多。例如，您可以使用optimal matching 创建配对，并在配对中随机化。通过按前一周/月的转化率对页面进行排名，然后创建邻居对，可以找到更粗略的匹配。或者您可以结合 Aaron 的建议中的阻塞随机化：成对随机化，然后每周翻转治疗。

第二个问题，有点不相关，是interaction between treatments。这可能更有问题。如果用户在一个页面上看到一个按钮，然后在另一个页面上看到另一个按钮，那么这个新按钮可能会产生特别大的效果。也就是说，您真的可以将治疗视为独立的吗？一个页面上的按钮是否会影响另一个页面上的转换可能性？不幸的是，它可能确实如此，特别是因为如果您在一个页面上购买 T 恤，您可能不太可能在另一页上购买 T 恤。比起随机化，我更担心这一点。标准方法 - 由唯一用户随机化 - 更好地模仿您的最终设计。

您总是可以运行一个实验，看看使用这两种方法是否得到相同的结果，然后继续使用更简单的方法。

【讨论】：

【解决方案2】：

你不能。

让 50 件 T 恤带有按钮 A，其余 50 件带有按钮 B。经过测试，您发现带有按钮 A 的 T 恤具有更好的转化率。

现在 - 是因为按钮 A 的转换更好，还是因为 T 恤设计真的很酷并且人们喜欢它们？

你不能客观地回答这个问题，所以你不能以这种方式进行 A/B 测试。

【讨论】：

但是，考虑到它们是随机分配的，所有 50 件带有按钮 A 的 T 恤不太可能都是更好的设计吗？
是的，但是您真的要销售相同数量的所有 100 种设计吗？实际上，大约 20% 的产品将占大约 80% 的销售额。如果您的前三种产品中的三种最终都在同一个组中怎么办？我认为您正在尝试走捷径，欢迎您这样做，但不要指望它会与正确地“一样好”。
好的，但是（不是在这里寻找论据，只是想通过思考）..... 80/20 问题不会通过测量相对于显示器的转换来解决吗？占销售额 80% 的 20% 产品也将占 80% 的页面浏览量，因此在流行和不受欢迎的产品中，每页浏览量的销售额或多或少是恒定的。 AB检验统计不考虑两组样本数的差异吗？
我不认为你可以有把握地假设 20% 的产品带来了 80% 的销售额也带来了 80% 的网页浏览量——尽管这是你可以提前衡量的。 Tristan 使用上个月的分析来创建邻居对的想法是一个很好的尝试，可以尽量减少偏差。

【解决方案3】：

你的方法的问题在于你同时测试两个东西。

说，设计 x 正在使用按钮 a。设计 y 正在使用按钮 b。 Design y 获得更多销量和更多转化。

是因为按钮 b 比按钮 a 提供了更好的转化率，还是因为设计 y 提供了比设计 x 更好的转化率？

如果您的设计数量非常多，用户数量非常少，并且您的转化在您的设计中平均分布，我可以看到您的方法比普通时尚更好 - 因为“好”的风险设计聚集在一起并歪曲您的结果将小于“好”用户所做的风险。但是，在这种情况下，您不会有特别大的转化样本量来得出结论 - 首先，您需要足够多的用户才能进行 AB 测试。

【讨论】：

同意。我想这种方法的效果将取决于设计的数量 - 给定足够大的数量，并假设随机分配，单个“好的”设计应该不可能扭曲结果。
嗯，就是这样。按照 80/20 规则，“好的”设计分布中的小偏差可能会严重影响您的结论。检查那些“如果”。与您的设计数量相比，您的用户数量将非常高（否则 AB 测试首先将毫无价值），并且您的转换肯定不会在您的设计中均匀分布。建议因用户而异。

【解决方案4】：

不要更改某些页面的销售按钮，而是使用按钮 A 运行所有页面一周，然后再更改为按钮 B 一周。这应该可以为您提供足够的数据来查看两个按钮之间的销售数量是否有显着变化。

一周应该足够短，以至于不应出现季节性/天气影响。

【讨论】：