Google Web Optimizer -- 多久才能赢得组合？答案

【问题标题】：Google Web Optimizer -- How long until winning combination?Google Web Optimizer -- 多久才能赢得组合？
【发布时间】：2010-06-11 10:14:33
【问题描述】：

我已经在 Google Web Optimizer 中运行了六周的 A/B 测试，但仍看不到尽头。谷歌仍在说：“我们还没有收集到足够的数据来显示任何显着的结果。当我们收集更多数据时，我们应该能够向您展示一个成功的组合。”

有什么方法可以说明 Google 离下定决心有多近？（有谁知道它使用什么算法来确定是否有任何“高置信度获胜者”？）

根据谷歌帮助文档：

有时我们只是需要更多数据能够达到高水平信心。经过测试的组合通常需要大约 200 次转换让我们来判断它的表现确定性。

但目前我们所有的转化都有超过 200 次对话：

230 / 4061（原创）
223 / 3937（变体 1）
205 / 3984（变体 2）
205 / 4007（变体 3）

它还要运行多长时间？？

感谢您的帮助。

【问题讨论】：

我很抱歉，我无法回答您的问题，但是如果可以的话，请教您一个问题？！！！您是如何找到 isomg GWO 的，您会推荐它吗？（即易于部署？任何性能问题？）抱歉打断您的问题！
是的。到现在为止还挺好。它非常易于使用且功能强大。 A/B 测试与其说是“如果”，不如说是“何时”，而 GWO 似乎是一个很好的系统——如果我知道实验什么时候结束就好了！ :)
我使用这个计算器来查找我需要获得显着性的数据量（尽管对于距离，它使用 90% 而不是 95%）usereffect.com/split-test-calculator 所以，例如，原始 vs . 变体 2，您需要多出 12,000 个结果才能得到确凿的答案。

标签： web ab-testing google-website-optimizer web-optimization

【解决方案1】：

有什么方法可以说明 Google 离下定决心有多近？

您可以使用 GWO 计算器根据您提供的一些假设来帮助确定测试需要多长时间。但请记住，您的测试组合之间可能没有显着差异，在这种情况下，要查看哪个最好的测试将花费无限时间，因为不可能找到获胜者。

（有谁知道它使用什么算法来确定是否有任何“高置信度获胜者”？）

That is a mystery，但是对于大多数（如果不是全部）统计测试，存在所谓的 p 值，它是获得与仅凭偶然观察到的结果一样极端的结果的概率。 GWO 测试一直运行到 p 值通过某个阈值，可能是 5%。更清楚地说，GWO 测试会一直运行，直到组合明显优于原始组合，这样结果仅偶然发生的几率只有 5%。

对于您的测试，似乎没有重要的赢家，这是平局。

【讨论】：

我不敢相信它会永远持续下去 :( 感谢您提供的信息，Erik！
有趣的是，这个页面谈论的是“不确定的结果”，可能暗示测试可以在没有明确获胜者的情况下结束？你怎么看？ google.com/support/websiteoptimizer/bin/…
“可能暗示测试可以在没有明确获胜者的情况下结束？”不，我在说什么，即测试可以永远持续下去，直到你对它做点什么。
根据我的经验，你是对的，5% 是他们准备宣布获胜的时候。